[論文レビュー] Long-time integration of parametric evolution equations with physics-informed DeepONets

Sifan Wang, Paris Perdikaris|arXiv (Cornell University)|Jun 9, 2021

Model Reduction and Neural Networks被引用数 9

ひとこと要約

本稿では、自己教師付き学習を用いて短時間の解作用素を学習することで、パrametricな発展方程式の長時間積分を物理的制約付きDeepONetフレームワークとして提案する。この手法により、反復予測を用いて高精度かつ低コストの長時間シミュレーションが可能となり、波動方程式、反応拡散方程式、剛性反応機構の問題において、従来のスケーラブルなソルバーのコストの僅か数パーセントで高い精度を達成する。

ABSTRACT

Ordinary and partial differential equations (ODEs/PDEs) play a paramount role in analyzing and simulating complex dynamic processes across all corners of science and engineering. In recent years machine learning tools are aspiring to introduce new effective ways of simulating PDEs, however existing approaches are not able to reliably return stable and accurate predictions across long temporal horizons. We aim to address this challenge by introducing an effective framework for learning infinite-dimensional operators that map random initial conditions to associated PDE solutions within a short time interval. Such latent operators can be parametrized by deep neural networks that are trained in an entirely self-supervised manner without requiring any paired input-output observations. Global long-time predictions across a range of initial conditions can be then obtained by iteratively evaluating the trained model using each prediction as the initial condition for the next evaluation step. This introduces a new approach to temporal domain decomposition that is shown to be effective in performing accurate long-time simulations for a wide range of parametric ODE and PDE systems, from wave propagation, to reaction-diffusion dynamics and stiff chemical kinetics, all at a fraction of the computational cost needed by classical numerical solvers.

研究の動機と目的

• 機械学習ベースのPDEソルバーにおける長時間予測精度の低下という課題に取り組む。これは、長期間にわたる時間領域で精度が低下する傾向があるためである。
• 長時間シミュレーションにおいて安定性と精度に課題を抱える既存の物理的制約付きニューラルネットワーク（PINNs）の限界を克服する。
• 初期条件からPDE解への解作用素を短時間間隔で学習するスケーラブルで自己教師付きのディープラーニングフレームワークを開発する。
• 訓練済みモデルの反復的評価を通じて、多様な初期条件に対してグローバルな長時間予測を可能にする。
• 波動伝播や化学反応動力学を含む、複雑で非線形的かつ剛性のある力学系において、本手法の有効性と計算効率を実証する。

提案手法

• 短時間間隔におけるパラメトリックな初期条件から対応するPDE解への無限次元解作用素を学習する物理的制約付きDeepONetを訓練する。
• ペアデータが不要で、PDEの形と初期・境界条件のみを必要とする自己教師付き学習戦略を採用する。
• 深層作用素ネットワークアーキテクチャを活用し、入力用のブランチネットワークと空間的・時間的評価用のトランクネットワークを別々に定義することで、解作用素をニューラルネットワークとしてパラメータ化する。
• 反復的予測を実施：各短時間予測結果を次のステップの新たな初期条件として用いることで、長時間積分を実現する。
• 時間領域の分解を反復的推論により実現し、全時間領域を一度に訓練する必要を回避する。
• 弱形式とコロケーションポイントを用いて、トレーニング中にPDEの残差と境界条件を強制することで物理的整合性を確保する。

実験結果

リサーチクエスチョン

• RQ1 物理的制約付きDeepONetは、ペアデータが一切ない状況でも、パラメトリックなODE/PDEの短時間発展に対する安定的かつ高精度な解作用素を学習できるか？
• RQ2 短時間に訓練されたDeepONetを用いた反復的推論は、従来の数値的ソルバーと比較して、長時間シミュレーションにおいてどの程度の性能を示すか？
• RQ3 提案手法は多様な初期条件に一般化可能であり、長期間にわたる時間領域でも精度を維持できるか？
• RQ4 従来の時間積分スキームやPINNsと比較して、本手法の計算効率とスケーラビリティはどの程度か？
• RQ5 本手法は、長時間にわたる時間領域において、剛性系、波動伝播、反応拡散ダイナミクスをどの程度耐性強く扱えるか？

主な発見

• 物理的制約付きDeepONetは、ペアデータが一切不要であり、PDEの形と境界条件のみを用いても、短時間の解作用素学習において高い精度を達成する。
• 訓練済みモデルを用いた反復的予測により、複数の初期条件および多様なPDE系において、安定的かつ高精度な長時間シミュレーションが可能になる。
• 従来の数値的ソルバーと比較して、計算コストを数桁から数個のオーダーも削減しながら、高い解の忠実度を維持する。
• 本手法は、波動伝播、反応拡散ダイナミクス、および剛性反応機構を長時間にわたってシミュレートでき、誤差の蓄積が最小限に抑えられる。
• 未学習の初期条件に対しても良好な一般化性能を示し、ODE/PDEのパrametricな家族全体にわたる強力なゼロショット一般化能力を示す。
• 自己教師付き学習の枠組みにより、高次元かつ複雑な力学的状態でも頑健な学習が可能となり、長時間安定性において標準的なPINNsを上回る。