[論文レビュー] AdjointNet: Constraining machine learning models with physics-based codes

Satish Karra, Bulbul Ahmmed+1 more|arXiv (Cornell University)|Sep 8, 2021

Model Reduction and Neural Networks参考文献 47被引用数 10

ひとこと要約

AdjointNet は、既存の物理ベースのシミュレーションコード（例：PFLOTRAN やナビエ＝ストークスソルバー）をニューラルネットワークの学習に直接埋め込むことで、領域全体にわたり質量・運動量保存則などの保存則を強制する物理制約付き機械学習フレームワークである。物理コードから得られるアドジョイント感度を活用することで、限られた、スパarsな、またはノイズの多いデータに対しても、PDE の再離散化を伴わずに、高精度な材料パラメータの逆問題解法が可能となる。

ABSTRACT

Physics-informed Machine Learning has recently become attractive for learning physical parameters and features from simulation and observation data. However, most existing methods do not ensure that the physics, such as balance laws (e.g., mass, momentum, energy conservation), are constrained. Some recent works (e.g., physics-informed neural networks) softly enforce physics constraints by including partial differential equation (PDE)-based loss functions but need re-discretization of the PDEs using auto-differentiation. Training these neural nets on observational data showed that one could solve forward and inverse problems in one shot. They evaluate the state variables and the parameters in a PDE. This re-discretization of PDEs is not necessarily an attractive option for domain scientists that work with physics-based codes that have been developed for decades with sophisticated discretization techniques to solve complex process models and advanced equations of state. This paper proposes a physics constrained machine learning framework, AdjointNet, allowing domain scientists to embed their physics code in neural network training workflows. This embedding ensures that physics is constrained everywhere in the domain. Additionally, the mathematical properties such as consistency, stability, and convergence vital to the numerical solution of a PDE are still satisfied. We show that the proposed AdjointNet framework can be used for parameter estimation (and uncertainty quantification by extension) and experimental design using active learning. The applicability of our framework is demonstrated for four flow cases. Results show that AdjointNet-based inversion can estimate process model parameters with reasonable accuracy. These examples demonstrate the applicability of using existing software with no changes in source code to perform accurate and reliable inversion of model parameters.

研究の動機と目的

• 従来の物理制約付き機械学習手法が自動微分と再離散化によりPDE制約を緩やかに強制するという限界を解消すること。
• 熟練した、検証済みの物理ベースのシミュレータ（コード変更なし）をドメインサイエンティストが、機械学習の学習ワークフローのコアとして使用できることを可能にすること。
• 領域全体にわたり、質量・運動量・エネルギー保存則などの物理的制約が厳密に満たされることを保証し、数値的安定性と収束性を維持すること。
• リアルタイムの観測データを学習ループに直接統合することで、逆問題、不確実性評価、アクティブラーニングを支援すること。
• アドジョイント法が、多様な物理系（多孔質媒体の流れ、非圧縮性ナビエ＝ストークス流れなど）に応用可能であることを実証すること。

提案手法

• AdjointNet は、物理ベースのシミュレータ（例：PFLOTRAN、ナビエ＝ストークスソルバー）をニューラルネットワーク内の微分可能レイヤーとして埋め込み、シミュレータを介した勾配の逆伝播を可能にする。
• アドジョイント法を用いて、状態変数（例：圧力、速度）のモデルパラメータ（例：透過率、粘性係数）に対するアドジョイント感度を計算し、正確な勾配計算を保証する。
• 損失関数は、データ不適合項と物理残差項を組み合わせており、勾配はアドジョイント感度を介して計算される。これにより、元のコードの数値的性質を保ちつつ、エンドツーエンドの学習が可能になる。
• フレームワークは、前方問題および逆問題の両方をサポートしており、パrameter推定やアクティブラーニングによる実験設計が可能である。
• PDE の再実装を回避し、物理コードから得られる検証済みの数値的離散化を再利用することで、一貫性、安定性、収束性を確保する。
• 任意の状態変数とそのアドジョイント感度を計算できる物理コードと互換性があり、科学的分野に広く応用可能である。

実験結果

リサーチクエスチョン

• RQ1 物理ベースのシミュレーションコードを、コード変更なしに機械学習の学習に直接統合でき、その数値的性質を保持できるか？
• RQ2 既存の物理コードから得られるアドジョイント感度を用いて、ニューラルネットワークを学習させつつ、保存則を厳密に満たすことができるか？
• RQ3 AdjointNet は、限られた、スパarsな、またはノイズの多い観測データに対しても、高精度なパrameter逆問題を達成できるか？
• RQ4 多孔質媒体の不均一な領域やナビエ＝ストークス方程式に従う非圧縮性流れを含む逆問題において、AdjointNet はどのように性能を発揮するか？
• RQ5 再訓練を再び行わずに、リアルタイムのデータ同化とアクティブラーニングをサポートできるか？

主な発見

• AdjointNet は、真値が 0.1000 のリードドライブキャビティ流れにおける運動粘性係数を、0.1021 として高精度に推定した。これは、パrameter逆問題における高い精度を示している。
• 約 200 エポックで収束し、最終損失値が 10^-8 未満に低下した。これは、安定的かつ効率的な学習を示している。
• 均一な多孔質媒体において、AdjointNet はたった 1,681 個の圧力データポイントのみを用いても、透過率を正確に逆算した。これは、スパarsデータでも頑健であることを示している。
• 不均一な多孔質媒体において、AdjointNet は空間的に変化する透過率場を成功裏に逆算し、領域全体で物理的整合性を維持した。
• リアルタイムの観測データを直接学習プロセスに統合することで、データ同化を実現。新しいシミュレーションデータの再訓練を回避した。
• AdjointNet は、下位の物理コードの離散化特性を引き継ぐことで、数値的安定性と収束性を維持した。一方、PINNs は再離散化を要するため、同様の安定性を保証できない。