[논문 리뷰] Deep-Learning-Enabled Simulated Annealing for Topology Optimization

Changyu Deng, Can Qin외 1명|arXiv (Cornell University)|2020. 02. 04.

Topology Optimization in Engineering인용 수 2

한 줄 요약

이 논문은 자기주도적 온라인 학습 최적화(SOLO)를 제안한다. SOLO는 깊이 신경망(DNN)을 사용해 최적화의 목적 함수를 대체함으로써 유한요소법(FEM) 평가 횟수를 최대 10만 배 감소시키는 딥러닝 기반의 시뮬레이티드 어닐링 방법이다. DNN는 예측된 최적해 중심의 동적 생성 데이터를 반복적으로 이용해 정교화되며, 이로 인해 고차원, 대규모 문제를 기존 최첨단 방법보다 뛰어난 성능으로 효율적으로 해결할 수 있다.

ABSTRACT

Topology optimization by optimally distributing materials in a given domain requires gradient-free optimizers to solve highly complicated problems. However, with hundreds of design variables or more involved, solving such problems would require millions of Finite Element Method (FEM) calculations whose computational cost is huge and impractical. Here we report a Self-directed Online Learning Optimization (SOLO) which integrates Deep Neural Network (DNN) with FEM calculations. A DNN learns and substitutes the objective as a function of design variables. A small amount of training data is generated dynamically based on the DNN's prediction of the global optimum. The DNN adapts to the new training data and gives better prediction in the region of interest until convergence. Our algorithm was tested by compliance minimization problems and fluid-structure optimization problems. It reduced the computational time by 2~5 orders of magnitude compared with directly using heuristic methods, and outperformed all state-of-the-art algorithms tested in our experiments. This approach enables solving large multi-dimensional optimization problems.

연구 동기 및 목표

• 수백 또는 수천 개의 설계 변수를 포함하는 최적화 문제에서 발생하는 금방 갈 수 없는 계산 비용을 해결하기 위해.
• 수백만 번의 FEM 시뮬레이션을 요구하는 브루트 포스 히우리스틱 방법에 대한 의존도를 줄이기 위해.
• 설계 공간의 유망한 영역에 계산 자원을 집중시키는 적응형 학습 프레임워크를 개발하기 위해.
• 딥러닝 서rogate를 활용해 복잡하고 고차원 문제에 대해 확장 가능하며 기울기 기반 최적화 없이 최적화를 수행하기 위해.
• 수렴 속도와 해의 품질 면에서 기존 최첨단 알고리즘을 능가하기 위해.

제안 방법

• 설계 변수의 함수로 목적 함수(예: 강성)를 예측하기 위해 깊이 신경망(DNN)을 훈련시켜 직접 FEM 평가를 대체한다.
• DNN가 전역 최적해를 예측함에 따라 동적으로 생성된 데이터를 기반으로 훈련 데이터를 생성하며, 높은 잠재력이 있는 영역에 집중한다.
• 현재 최고의 해 주변에서 예측을 정교화하기 위해 새로운 데이터로 DNN를 반복적으로 재훈련한다.
• 설계 공간을 탐색하면서도 유망한 영역으로 데이터 수집을 이끌어내는 시뮬레이티드 어닐링 유사 탐색 전략을 사용한다.
• FEM은 최소한으로 사용되며, 초기 및 적응형 훈련 데이터 생성을 위해만 활용되며 총 FEM 호출 횟수를 크게 감소시킨다.
• 온라인 학습과 서rogate 모델링을 조합하여 고차원 설계 공간에서 탐색과 이용의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 딥러닝 서rogate가 최적화를 위한 FEM 평가 횟수를 크게 줄일 수 있는가?
• RQ2 적응형이며 자기주도적인 데이터 생성 전략이 고차원, 비凸 최적화 문제에서 수렴을 향상시킬 수 있는가?
• RQ3 제안된 SOLO 방법은 최첨단 히우리스틱 및 기울기 기반 최적화 알고리즘과 비교해 성능 및 효율성 면에서 어떻게 다른가?
• RQ4 DNN 기반 서rogate가 복잡하고 다중 모odal한 설계 공간에서 정확성과 일반화 능력을 유지할 수 있는 정도는 어느 정도인가?
• RQ5 시뮬레이티드 어닐링과 온라인 DNN 학습을 통합하면 대규모 최적화 문제의 스케일러블 최적화를 가능하게 할 수 있는가?

주요 결과

• SOLO 방법은 직접 히우리스틱 최적화 방법과 비교해 계산 시간을 2에서 5개 지수 정도 감소시켰다.
• 강성 최소화 문제와 유체-구조 상호작용 문제에서 테스트된 모든 최첨단 알고리즘보다 알고리즘이 뛰어난 성능을 보였다.
• 적응형이고 타겟된 데이터 수집 덕분에 FEM 평가 횟수가 극히 적은 상태에서도 DNN 서rogate가 목적 함수를 높은 정확도로 예측했다.
• 반복적인 재훈련 과정을 통해 DNN는 관심 영역에 집중하고 예측 정밀도를 향상시켜 수렴 효율성을 높였다.
• 기존의 FEM 집약적인 접근 방식으로는 해결이 불가능한 대규모 고차원 최적화 문제를 성공적으로 해결했다.
• 온라인 학습과 시뮬레이티드 어닐링의 통합은 복잡하고 비凸한 설계 공간에서도 견고한 수렴을 가능하게 했다.