[論文レビュー] Optimizing a DIscrete Loss (ODIL) to solve forward and inverse problems for partial differential equations using machine learning tools

Petr Karnakov, Sergey Litvinov+1 more|arXiv (Cornell University)|May 10, 2022

Reservoir Engineering and Simulation Methods被引用数 12

ひとこと要約

ODIL は、有限差分法や有限要素法による離散化の残差を勾配法やニュートン法で最小化することで、偏微分方程式（PDE）の解を離散最適化問題として定式化する。PINN よりも計算コストが桁違いに低く、収束速度も速く、古典的数値解法の精度、スパarsity、保存則の性質を維持するため、欠損パラメータや限られたデータを伴う前向きおよび逆問題に対して非常に効果的である。

ABSTRACT

We introduce the Optimizing a Discrete Loss (ODIL) framework for the numerical solution of Partial Differential Equations (PDE) using machine learning tools. The framework formulates numerical methods as a minimization of discrete residuals that are solved using gradient descent and Newton's methods. We demonstrate the value of this approach on equations that may have missing parameters or where no sufficient data is available to form a well-posed initial-value problem. The framework is presented for mesh based discretizations of PDEs and inherits their accuracy, convergence, and conservation properties. It preserves the sparsity of the solutions and is readily applicable to inverse and ill-posed problems. It is applied to PDE-constrained optimization, optical flow, system identification, and data assimilation using gradient descent algorithms including those often deployed in machine learning. We compare ODIL with related approach that represents the solution with neural networks. We compare the two methodologies and demonstrate advantages of ODIL that include significantly higher convergence rates and several orders of magnitude lower computational cost. We evaluate the method on various linear and nonlinear partial differential equations including the Navier-Stokes equations for flow reconstruction problems.

研究の動機と目的

• PINN が、計算コストが高く収束が悪いという限界を示す、不適切に定式化された問題や逆問題を解く際の課題を克服すること。
• 古典的数値離散化の堅牢性と機械学習最適化ツールの柔軟性を組み合わせたフレームワークを開発すること。
• 勾配ベースおよびニュートン型の最適化手法を用いて、PDE 約束最適化、データ同化、オプティカルフロー、システム同定を効率的に解けるようにすること。
• 高い収束速度を達成しつつ、古典的ソルバーが持つスパarsity、整合性、保存則の性質を維持すること。
• 気象予測や流体動力学などの大規模科学的シミュレーションに対して、スケーラブルで正確かつ計算的に効率的な PINN の代替手段を提供すること。

提案手法

• ODIL フレームワークは、構造化グリッド上での離散的残差の最小化として PDE を定式化し、離散 PDE の残差と初期・境界条件の制約を組み合わせた損失関数を用いる。
• 損失関数は、離散 PDE の二乗残差と既知の初期・境界値からの二乗偏差の和として定義され、必要に応じて正則化項を含む。
• 勾配ベース最適化（例：L-BFGS-B）とニュートン法を適用し、自動微分を用いて勾配とスパースなヘッシアン近似を計算する。
• この手法は、古典的離散化が持つスパarsity を引き継ぎ、直接法や多重グリッド法などのスパース線形ソルバーを用いてニュートン系を効率的に解くことができる。
• フレームワークは TensorFlow に実装されており、離散解場に関する損失の導関数を自動微分で計算する。
• 波動方程式、移流方程式、ナビエ-ストークス方程式など、さまざまな PDE に適用され、前向きおよび逆問題の両方で検証されている。

実験結果

リサーチクエスチョン

• RQ1 離散的残差最小化フレームワークは、PDE を解く際の計算効率と収束速度において、PINN を上回ることができるか？
• RQ2 スパarsity、保存則、安定性といった古典的数値離散化の性質が、機械学習最適化フレームワークにおいてどの程度維持できるか？
• RQ3 初期値や最終値が既知だが支配的場が未知の状況において、ODIL フレームワークはオプティカルフロー やシステム同定といった逆問題に対してどの程度有効か？
• RQ4 離散的残差定式化にニュートン法を適用した場合、PINN とは異なり、スパースなヘッシアン行列により、PDE 解法で二次収束を達成できるか？
• RQ5 適切に定式化された問題において、ODIL と標準的な有限差分法や有限要素法ソルバーとの間で、計算コストと精度のトレードオフはどのようなものか？

主な発見

• ODIL は PINN よりも著しく高速に収束し、ヘッシアンのスパarsity によりニュートン法が二次収束を達成する。PINN とは異なり、密行列のヘッシアンが最適化を阻害するため、効率的なニュートン最適化が不可能である。
• ODIL の1評価あたりの計算コストはグリッドポイント1点あたり一定であるのに対し、PINN ではネットワークの重み数に比例して増加するため、大規模問題では ODIL が桁違いに低コストである。
• 未知の速度場を伴う移流方程式に対して、ODIL は2つのトレーサーのスナップショットから速度場を高精度に再構築でき、参照解と一致する。
• ナビエ-ストークス流れ再構築問題において、ODIL は僅かな測定値のみを用いても、速度場と圧力場を高精度に回復でき、逆問題におけるロバストネスを示している。
• この手法は、元の有限差分法や有限要素法の離散的保存則と安定性の性質を維持しており、信頼性の高い数値的挙動を保証する。
• フレームワークは PDE 約束最適化、データ同化、システム同定に適用可能であり、速度と精度の両面で PINN ベースラインを上回る優れた性能を示している。