[論文レビュー] Deep learning applied to computational mechanics: A comprehensive review, state of the art, and the classics

L. Vu‐Quoc, Alexander Humer|arXiv (Cornell University)|Dec 18, 2022

Computational Physics and Python Applications被引用数 5

ひとこと要約

この包括的なレビューでは、深層学習（DL）を計算力学と統合し、偏微分方程式（PDE）の解法、モデル順序低減、数値積分に向けたハイブリッドおよび純粋なML手法を網羅的に扱う。最先端のDLアーキテクチャ—LSTM、トランスフォーマー、PINNs—を詳細に提示し、最適化技術、カーネル法、固体および流体力学分野における実用的応用を強調する。科学的応用におけるAIの限界を批判的に分析し、再現可能性の重要性を強調する。

ABSTRACT

Three recent breakthroughs due to AI in arts and science serve as motivation: An award winning digital image, protein folding, fast matrix multiplication. Many recent developments in artificial neural networks, particularly deep learning (DL), applied and relevant to computational mechanics (solid, fluids, finite-element technology) are reviewed in detail. Both hybrid and pure machine learning (ML) methods are discussed. Hybrid methods combine traditional PDE discretizations with ML methods either (1) to help model complex nonlinear constitutive relations, (2) to nonlinearly reduce the model order for efficient simulation (turbulence), or (3) to accelerate the simulation by predicting certain components in the traditional integration methods. Here, methods (1) and (2) relied on Long-Short-Term Memory (LSTM) architecture, with method (3) relying on convolutional neural networks. Pure ML methods to solve (nonlinear) PDEs are represented by Physics-Informed Neural network (PINN) methods, which could be combined with attention mechanism to address discontinuous solutions. Both LSTM and attention architectures, together with modern and generalized classic optimizers to include stochasticity for DL networks, are extensively reviewed. Kernel machines, including Gaussian processes, are provided to sufficient depth for more advanced works such as shallow networks with infinite width. Not only addressing experts, readers are assumed familiar with computational mechanics, but not with DL, whose concepts and applications are built up from the basics, aiming at bringing first-time learners quickly to the forefront of research. History and limitations of AI are recounted and discussed, with particular attention at pointing out misstatements or misconceptions of the classics, even in well-known references. Positioning and pointing control of a large-deformable beam is given as an example.

研究の動機と目的

• 偏微分方程式（PDE）の解法とシミュレーションコストの低減に向けたハイブリッドおよび純粋なML手法をレビューすることで、深層学習と計算力学を統合すること。
• バックプロパゲーションから現代の最適化手法までを含むDLの基礎を、DLに不慣れな計算力学分野の研究者を対象に統一的かつアクセス可能なレビューを提供すること。
• AIにおける誤解や限界、特に再現可能性、一般化性能、および適応的最適化手法の過剰な評価に関する批判的検討を行うこと。
• LSTMを用いたコンstitutiveモデリング、自己符号化器を用いたROM、および注意メカニズムを備えた物理情報付きニューラルネットワーク（PINNs）を含む実用的応用を提示すること。
• 科学的DL応用における透明性の欠如と、検証可能で再現可能な結果の必要性を強調することで、AI研究における方法論的厳密性を提唱すること。

提案手法

• 多孔質媒体における時間依存的コンstitutive挙動のモデリングおよび低次元モデルにおける時間積分器として、長短期記憶（LSTM）ネットワークを用いる。
• 注意メカニズムを備えた物理情報付きニューラルネットワーク（PINNs）を用いて、非線形PDE、特に不連続解を有する問題を解く。
• ギャップデータを用いた自己符号化器とハイパーレダクション技術を活用し、流体および固体力学における非線形多様体に基づくモデル順序低減（MOR）を実現する。
• 確率的最適化手法（SGDにモーメンタム、学習率の減少、適応的手法（Adam、AdamW）など）をレビューおよび導出する。これらをシミュレーテッド・アニーリングおよび確率的微分方程式と関連付ける。
• 無限幅極限を伴うカーネルマシンおよびガウス過程を導入し、高度な非パrametricモデリングおよび不確実性の定量化を支援する。
• ステップ長の減少およびバッチサイズのスケーリングといった、学習率の減少の代替手法を含む最適化アルゴリズムの詳細な擬似コードと導出を提供する。

実験結果

リサーチクエスチョン

• RQ1 深層学習を従来のPDEソルバーと効果的に組み合わせることで、計算力学における計算コストをどのように低減できるか？
• RQ2 Adamのような適応的最適化手法は、学習率の減少を適切に調整したSGDに比べて、物理ベースのモデリングにおける深層学習でどのような利点と限界を有するか？
• RQ3 注意メカニズムおよびトランスフォーマー・アーキテクチャは、不連続性や急勾配を有するPDEの解法をどのように改善するか？
• RQ4 自己符号化器および深層学習で訓練された低次元モデルは、流体および固体力学分野において高精度なシミュレーションにどの程度置き換え可能か？
• RQ5 AI研究、特に科学的応用において、ハイパーパrameterおよびトレーニングプロトコルの不十分な文書化が原因で、再現性がどのように損なわれるのか？

主な発見

• LSTMネットワークは、マルチスケール地盤力学および流体を含む多孔質媒体における複雑な時間依存的コンstitutive挙動を効果的にモデリングでき、低次元シミュレーションを効率化する。
• 注意メカニズムを備えたPINNsは、PDEにおける不連続解を処理でき、特に流体力学および固体力学分野の挑戦的な問題において、標準的なPINNsよりも精度を向上させる。
• Adamのような適応的最適化手法は、学習率の減少を適切に調整したSGDに比べて、一般化性能にわずかな利点を示すにとどまり、科学的DLにおける広範な使用を疑問視する要因となる。
• 確率的最適化におけるステップ長の減少は、確率的微分方程式を介してシミュレーテッド・アニーリングと数学的に同等であることが示され、バッチサイズの増加が収束性を向上させるために学習率の減少の代替として有効である可能性を示唆する。
• ハイパーパrameter（例：学習率、バッチサイズ、最適化手法の設定）の欠落が原因で、AIの再現性は著しく損なわれる。これは、学習率の不十分な文書化が問題であるが、乳がん検出に関する事例研究で明確に示された。
• カーネルマシン、特に無限幅極限を伴うガウス過程は、堅牢な不確実性推定を提供し、非パrametricモデリング分野において現代の深層学習理論の基盤を形成する。