[논문 리뷰] Automated Design using Neural Networks and Gradient Descent

Oliver Hennigh|arXiv (Cornell University)|2017. 10. 27.

Model Reduction and Neural Networks참고 문헌 12인용 수 7

한 줄 요약

이 논문은 깊이 있는 신경망을 사용해 복잡한 물리적 시뮬레이션을 근사하고, 경량 최적화를 위해 경사 하강법을 적용하는 새로운 자동 설계 프레임워크를 제안한다. 설계의 적합도(예: 양력-저항비 또는 열방출)를 예측하는 데에 신경망을 훈련시킴으로써, 기존의 시뮬레이션 기반 방법에 비해 최적화 속도를 5,000배 이상 높였으며, 수분 내로 수렴 가능하게 하면서도 높은 정확도를 유지를 한다.

ABSTRACT

We propose a novel method that makes use of deep neural networks and gradient decent to perform automated design on complex real world engineering tasks. Our approach works by training a neural network to mimic the fitness function of a design optimization task and then, using the differential nature of the neural network, perform gradient decent to maximize the fitness. We demonstrate this methods effectiveness by designing an optimized heat sink and both 2D and 3D airfoils that maximize the lift drag ratio under steady state flow conditions. We highlight that our method has two distinct benefits over other automated design approaches. First, evaluating the neural networks prediction of fitness can be orders of magnitude faster then simulating the system of interest. Second, using gradient decent allows the design space to be searched much more efficiently then other gradient free methods. These two strengths work together to overcome some of the current shortcomings of automated design.

연구 동기 및 목표

• 대규모 검색 공간과 고비용 시뮬레이션을 수반하는 복잡한 공학 시스템에서 자동 설계의 계산 비용 문제를 해결하기 위해.
• 물리적 시스템의 적합도 함수를 모의하는 신경망을 훈련시켜 신속하고 미분 가능한 최적화를 가능하게 하기 위해.
• 정적 유동 조건 하에서 실세계 공학 문제인 열교환기 설계 및 2D/3D 공기역학 날개 형상 최적화에 대해 제안된 방법의 효과성을 입증하기 위해.
• 신경망 대체 모델을 사용한 경사 기반 최적화가 시뮬레이션된 난류 최적화와 같은 비경사 기반 방법보다 훨씬 빠르고 샘플 효율성이 높은지 확인하기 위해.
• 기하 구조에서 정적 유동을 정확하게 예측할 수 있는 향상된 신경망 아키텍처를 제시하기 위해.

제안 방법

• 고정밀도 시뮬레이션 데이터를 활용해 기하 매개변수를 기반으로 설계의 적합도(예: 양력-저항비 또는 열방출)를 예측하는 깊이 신경망을 훈련시킨다.
• 훈련된 신경망의 미분 가능성을 활용해 역전파를 통해 설계 매개변수에 대한 적합도의 기울기를 계산한다.
• 신속한 기울기 계산을 활용해 신경망 출력에 대해 반복적으로 경사 하강법 최적화를 수행함으로써 설계를 점진적으로 향상시킨다.
• 국소 최적해에 갇히는 것을 줄이고 일반화 능력을 향상시키기 위해 다각도 최적화(예: 9개의 공격 각도)를 수행한다.
• 훈련 데이터 생성을 위해 고정밀도 시뮬레이터로 라티스 볼츠만 방법(Lattice Boltzmann Method, LBM)을 사용한다.
• 최적화 도중 전체 물리적 시뮬레이션을 빠른 신경망 추론으로 대체함으로써, 반복당 처리 시간을 2D 기준 약 38초에서 0.052초로 감소시킨다.

실험 결과

연구 질문

• RQ1 깊이 신경망 대체 모델이 고비용 물리적 시뮬레이션을 대체함으로써 자동 설계를 크게 가속화할 수 있는가?
• RQ2 미분 가능한 신경망 대체 모델을 사용한 경사 기반 최적화는 시뮬레이션된 난류 최적화와 같은 비경사 기반 방법에 비해 수렴 속도와 샘플 효율성 측면에서 어떻게 비교되는가?
• RQ3 신경망이 근사한 적합도 지형의 매끄러움이 국소 최적해에 갇히지 않고 안정적인 최적화를 가능하게 하는 데 어느 정도 기여하는가?
• RQ4 제안된 신경망 아키텍처가 기하 입력에서 정적 유동을 정확하게 예측할 수 있는가? 기존 방법보다 뛰어난 성능을 보이는가?
• RQ5 다각도 최적화가 복잡한 공기역학 문제에서 설계 과정의 강건성과 수렴 성능을 향상시키는가?

주요 결과

• 제안된 방법은 2D 공기역학 날개 문제에서 경사 하강법을 사용해 200회 반복 내로 수렴했으며, 시뮬레이션된 난류 최적화는 동일한 성능을 위해 최소 1,500회 이상의 반복이 필요했다.
• 신경망 대체 모델은 반복당 처리 시간을 2D LBM 시뮬레이션의 37.8초에서 0.052초로 감소시켜 총 최적화 시간 기준 5,000배의 속도 향상을 달성했다.
• 신경망이 예측한 적합도 지형은 매끄럽고 미분 가능했으며, 국소 최적해가 존재하더라도 효율적인 경사 기반 최적화를 가능하게 했다.
• 다양한 초기 설계로 수행한 여러 최적화 실행이 유사한 고성능 공기역학 날개 형상으로 수렴했으며, 이는 제안된 방법의 강건성과 일관성을 시사한다.
• 유동 예측을 위한 향상된 신경망 아키텍처는 이전 방법들을 능가했으며, 복잡한 공기역학 작업에 대해 정확하고 빠른 적합도 평가를 가능하게 했다.
• 이 방법은 뛰어난 확장성을 보였으며, 정적 유동 조건 하에서 2D 및 3D 공기역학 날개 최적화 과제 모두에서 높은 성능을 달성했다.