[論文レビュー] Automated Design using Neural Networks and Gradient Descent

Oliver Hennigh|arXiv (Cornell University)|Oct 27, 2017

Model Reduction and Neural Networks参考文献 12被引用数 7

ひとこと要約

本稿では、深層ニューラルネットワークを用いて複雑な物理シミュレーションを近似し、勾配降下法を適用して効率的な最適化を実現する、新しい自動設計フレームワークを提案する。フィットネス（例：揚力対抗力比や熱放散）を予測するためのニューラルネットワークを訓練することで、従来のシミュレーションベースの手法と比較して最適化を5,000倍以上高速化し、数分で収束するのに対し、従来は数日を要する。高精度を維持しつつ実現された。

ABSTRACT

We propose a novel method that makes use of deep neural networks and gradient decent to perform automated design on complex real world engineering tasks. Our approach works by training a neural network to mimic the fitness function of a design optimization task and then, using the differential nature of the neural network, perform gradient decent to maximize the fitness. We demonstrate this methods effectiveness by designing an optimized heat sink and both 2D and 3D airfoils that maximize the lift drag ratio under steady state flow conditions. We highlight that our method has two distinct benefits over other automated design approaches. First, evaluating the neural networks prediction of fitness can be orders of magnitude faster then simulating the system of interest. Second, using gradient decent allows the design space to be searched much more efficiently then other gradient free methods. These two strengths work together to overcome some of the current shortcomings of automated design.

研究の動機と目的

• 大規模な探索空間と高コストなシミュレーションを伴う複雑なエンジニアリングシステムにおける自動設計の計算不能性を克服すること。
• 物理的システムのフィットネス関数をエミュレートするニューラルネットワークを訓練することで、高速で微分可能な最適化を可能にすること。
• 定常状態の流れ下での実世界のエンジニアリング問題（ヒートシンク設計および2次元／3次元の翼型最適化）に対して、本手法の有効性を示すこと。
• 勾配ベースの最適化が、シミュレーテッド・アニーリングなどの勾配フリー手法（例：シミュレーテッド・アニーリング）と比較して、収束速度およびサンプル効率の面で顕著に優れていることを示すこと。
• 幾何形状から定常状態の流れを予測するための、既存手法を上回る改善されたニューラルネットワークアーキテクチャを提示すること。

提案手法

• 高精度なシミュレーションからのデータを用いて、幾何パラメータに基づき設計のフィットネス（例：揚力対抗力比や熱放散）を予測する深層ニューラルネットワークを訓練する。
• 訓練済みニューラルネットワークの微分可能特性を活用し、バックプロパゲーションを用いて設計パラメータに関するフィットネスの勾配を計算する。
• ニューラルネットワーク出力上で勾配降下法を適用し、高速な勾配計算を活かして反復的に設計を改善する。
• 局所最適解に陥る可能性を低減し、一般化性能を向上させるために、複数のアングル（例：9つの迎角）を用いた最適化を実施する。
• 訓練データの生成に、高精度なシミュレータとしてラティスボルツマン法（LBM）を用いる。
• 最適化中は、完全な物理シミュレーションを高速なニューラルネットワーク推論に置き換えることで、1イテレーションあたりの計算時間を2Dの場合に約38秒から0.052秒に短縮する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークのサーヴィレートモデルが、高コストな物理シミュレーションに置き換えることで、自動設計の高速化を顕著に実現できるか？
• RQ2 微分可能なニューラルネットワークサーヴィレートを用いた勾配ベースの最適化は、シミュレーテッド・アニーリングなどの勾配フリー手法と比較して、収束速度およびサンプル効率の面でどのように異なるか？
• RQ3 ニューラルネットワークが近似するフィットネスランドスケープの滑らかさが、局所最適解に陥ることなく、強固な最適化を可能にする程度はどの程度か？
• RQ4 提案されたニューラルネットワークアーキテクチャは、幾何入力から定常状態の流れを正確に予測できるか？かつ、既存手法を上回る性能を示すか？
• RQ5 複数角度最適化は、複雑な空力的問題における設計プロセスのロバスト性および収束性を向上させるか？

主な発見

• 提案手法は、2D翼型問題において勾配降下法を用いて200イテレーションで収束したが、シミュレーテッド・アニーリングでは同等の性能を得るためには最低1,500イテレーションを要した。
• ニューラルネットワークサーヴィレートにより、1イテレーションあたりの計算時間が2D LBMシミュレーションの37.8秒から0.052秒に短縮され、合計の最適化時間で5,000倍の高速化が達成された。
• ニューラルネットワークが予測するフィットネスランドスケープは滑らかで微分可能であり、局所最適解が存在する中でも、効率的な勾配ベースの最適化を可能にした。
• 異なる初期設計から複数回の最適化を実行した結果、類似した高性能な翼型形状に収束した。これは、本手法のロバスト性と一貫性を示している。
• 流体の定常状態の流れを予測するための改善されたニューラルネットワークアーキテクチャは、既存手法を上回り、複雑な空力的タスクにおける正確で高速なフィットネス評価を可能にした。
• 本手法は強くスケーラブルであり、定常状態の流れ条件下で2次元および3次元の翼型最適化タスクの両方で高い性能を発揮した。