[論文レビュー] Learning Composable Energy Surrogates for PDE Order Reduction

Alex Beatson, Jordan T. Ash+3 more|arXiv (Cornell University)|May 13, 2020

Model Reduction and Neural Networks参考文献 34被引用数 4

ひとこと要約

本稿では、有限要素解析からのデータを用いて、エネルギー、勾配、ヘッセ・ベクター積を予測するニューラルネットワークを訓練することにより、偏微分方程式（PDE）におけるモデル順序低減のための合成可能エネルギー補助関数（CES）を提案する。ハミルトニアン・モンテカルロ（HMC）とDAggerを用いたデータ収集により、エネルギーおよび導出量の予測において高い精度が達成され、アブレーションスタディでは、ソボレフ学習と適切なスケーリングが、複雑な細胞状微構造において顕著に性能向上をもたらすことが示された。

ABSTRACT

Meta-materials are an important emerging class of engineered materials in which complex macroscopic behaviour--whether electromagnetic, thermal, or mechanical--arises from modular substructure. Simulation and optimization of these materials are computationally challenging, as rich substructures necessitate high-fidelity finite element meshes to solve the governing PDEs. To address this, we leverage parametric modular structure to learn component-level surrogates, enabling cheaper high-fidelity simulation. We use a neural network to model the stored potential energy in a component given boundary conditions. This yields a structured prediction task: macroscopic behavior is determined by the minimizer of the system's total potential energy, which can be approximated by composing these surrogate models. Composable energy surrogates thus permit simulation in the reduced basis of component boundaries. Costly ground-truth simulation of the full structure is avoided, as training data are generated by performing finite element analysis with individual components. Using dataset aggregation to choose training boundary conditions allows us to learn energy surrogates which produce accurate macroscopic behavior when composed, accelerating simulation of parametric meta-materials.

研究の動機と目的

• 複雑な微構造に対するPDEの解法における高い計算コストの課題に対処し、高速かつ高精度な補助モデルを可能にする。
• 多様な多孔質材料の構成にわたってタイリング可能で再利用可能な合成可能エネルギー補助関数を構築する。
• ソボレフ学習や剛体運動の除去といった高度な学習技術を用いて、ニューラルネットワーク補助関数の一般化性能とロバストネスを向上させる。
• 最小限の精度損失で、細胞状固体の弾性問題を効率的に解くための低次元モデルを可能にする。

提案手法

• ステップサイズ、パス長、温度、運動量のヒューリスティックなハイパーパrameter分布を用いたハミルトニアン・モンテカルロ（HMC）を用いて、60,000件のトレーニングおよび検証データポイントを生成する。
• 分布シフトを低減するため、エキスパート（FEA）とモデル予測を組み合わせるDAggerを用いて、反復的にデータ品質を向上させる。
• Adamを用い、初期の学習率を3e-4として、3層の512ユニットの全結合ニューラルネットワークを、Swish活性化関数およびHe初期化で訓練する。
• 勾配（Sobolev-G）およびヘッセ・ベクター積（Sobolev-Hvp）に対するソボレフ学習を適用し、導出量の予測精度を向上させる。
• タイル化されたドメイン間でのエネルギーの合成可能性と物理的整合性を保つために、プロクラステス解析を用いて剛体移動を除去する。
• 左/右/上/下の制御点を用いた境界積分近似により、変位場からマクロなひずみを定義する。

実験結果

リサーチクエスチョン

• RQ1 複雑な微構造における弾性問題について、ニューラルネットワークベースのエネルギー補助関数が、エネルギー、勾配、ヘッセ・ベクター積を正確に予測できるか。
• RQ2 スケーリング、剛体運動の除去、ソボレフ学習といった、アーキテクチャ的および学習的選択が、補助関数の性能に与える影響は何か。
• RQ3 HMCおよびDAggerを用いたデータ生成が、標準的なサンプリングと比較して、補助関数の一般化性能およびロバストネスをどの程度向上させるか。
• RQ4 得られた補助関数が、複数のドメインにわたってタイリング可能であり、精度と物理的整合性を保持できるか。
• RQ5 有限要素法（FEM）ベースラインと比較して、補助関数は解の忠実度および計算効率の点でどの程度優れているか。

主な発見

• アブレーションスタディでは、すべての設計選択、特にSobolev-GおよびSobolev-Hvp学習が検証指標の向上に寄与しており、Sobolev-Gが勾配類似度において最大の向上をもたらした。
• 「Scale」（対数剛性パrameter化）と「Sobolev-Hvp」の組み合わせが、最適化ベースのソルバーにとって重要なヘッセ・ベクター積の予測精度を顕著に向上させた。
• 「Rigidを除去」するコンponentは、現在のデータでは影響が限定的であるが、合成可能性および歴史的性能向上の観点から維持されている。
• 最終的なモデルは、エネルギー誤差（E %err）が低く、勾配（G-sim）およびヘッセ・ベクター積（Hvp-sim）のコサイン類似度が高く、アブレーション結果で具体的に測定された改善が確認された。
• 可視化により、すべての穴形状およびメッシュ解像度において、CESの解がFEAの解と非常に近いことが確認され、補助関数の自由度はたったの690であった。
• 本手法により、異なる構成にわたってエネルギー補助関数のタイリングが成功裏に実現され、大規模な微構造解析における合成可能性とスケーラビリティが示された。