[論文レビュー] Competitive Physics Informed Networks

Qi Zeng, Kothari, Yash+2 more|arXiv (Cornell University)|Apr 23, 2022

Model Reduction and Neural Networks被引用数 10

ひとこと要約

この論文は、PINNsにおける標準的な二乗残差損失を、PINNと識別器ネットワークの間のミニマックスゲームに置き換えることで、敵対的フレームワークを導入した新規な競合型物理情報ニューラルネットワーク（CPINNs）を提案する。両ネットワークを同時に競争的勾配降下法で訓練することで、CPINNsは線形および非線形PDEに対して10⁻⁸オーダーの相対誤差を達成し、PINNに類似する解法において前例のない高い精度を示した。

ABSTRACT

Neural networks can be trained to solve partial differential equations (PDEs) by using the PDE residual as the loss function. This strategy is called "physics-informed neural networks" (PINNs), but it currently cannot produce high-accuracy solutions, typically attaining about $0.1\%$ relative error. We present an adversarial approach that overcomes this limitation, which we call competitive PINNs (CPINNs). CPINNs train a discriminator that is rewarded for predicting mistakes the PINN makes. The discriminator and PINN participate in a zero-sum game with the exact PDE solution as an optimal strategy. This approach avoids squaring the large condition numbers of PDE discretizations, which is the likely reason for failures of previous attempts to decrease PINN errors even on benign problems. Numerical experiments on a Poisson problem show that CPINNs achieve errors four orders of magnitude smaller than the best-performing PINN. We observe relative errors on the order of single-precision accuracy, consistently decreasing with each epoch. To the authors' knowledge, this is the first time this level of accuracy and convergence behavior has been achieved. Additional experiments on the nonlinear Schrödinger, Burgers', and Allen-Cahn equation show that the benefits of CPINNs are not limited to linear problems.

研究の動機と目的

• PINNsが二乗残差損失関数に起因する悪条件性のため、高精度な解を得ることが困難であるという根本的限界を解消すること。
• ペナルティ付き最小二乗法の代わりに、原双対的・ゲーム理論的アプローチを採用することで、PINNsに内在する条件数の問題を克服すること。
• 従来のPINNsが失敗する問題に対しても、収束する高精度な解が得られる訓練フレームワークを開発すること。
• 線形PDEにとどまらず、シュレーディンガー方程式、バーガース方程式、アレン＝キャーン方程式などの非線形方程式に対しても、このアプローチの汎用性を示すこと。
• PDEの解において、単精度に近い精度（10⁻⁸相対誤差）を達成すること、これはPINNの変種では前例のないマイルストーンである。

提案手法

• 物理情報ニューラルネットワーク（PINN）と識別器ネットワークの間でゼロサムゲームとしてPDEの解を定式化する。
• 識別器がPINNの予測誤差を特定することに報酬を与える競争的勾配降下法（CGD）を用いて、PINNと識別器を同時に訓練する。
• ゲームの最適ナッシュ均衡は、正確なPDE解に対応し、二乗残差ペナルティに起因する条件数の二乗化を回避する。
• ミニマックス目的関数を用いる：PINNの損失を最小化すると同時に、識別器がPDEおよび境界条件の違反を検出できる能力を最大化する。
• 両ネットワークを同時に最適化するため、CGDを適用し、安定かつ収束する訓練ダイナミクスを保証する。
• エポック間で同じコロケーション点を用いるが、将来的には一般化性向上のための確率的バッチ処理の検討も可能である。

実験結果

リサーチクエスチョン

• RQ1 ゲーム理論的フレームワークは、標準PINNsの誤差上限（10⁻³〜10⁻⁵）を超えて、物理情報ニューラルネットワークの精度を向上させることができるか？
• RQ2 二乗残差損失をミニマックス敵対的目的関数に置き換えることで、PINNsの収束を制限する悪条件性問題が緩和されるか？
• RQ3 CPINNsは、非線形PDEに対しても、相対誤差10⁻⁸に近い単精度に近い精度を達成できるか？
• RQ4 収束速度および複数のPDEタイプにおける誤差低減の観点から、CPINNsは標準PINNsと比較してどのように性能を発揮するか？
• RQ5 CPINNフレームワークは、非線形およびパrametric PDE（非線形シュレーディンガー方程式、バーガース方程式、アレン＝キャーン方程式など）にも一般化可能か？

主な発見

• 2次元のポアソン問題において、CPINNsは約10⁻⁸の相対L₂誤差を達成し、最良の標準PINNsと比較して4桁の改善を示した。
• CPINNsの誤差は各訓練エポックごとに一貫して減少し、安定的かつ収束する最適化ダイナミクスを示している。
• PINNに類似する手法として、初めて単精度浮動小数点の限界（約10⁻⁷〜10⁻⁸）に近い精度を達成し、従来のPINNベンチマークを上回った。
• この手法は線形問題にとどまらず、非線形シュレーディンガー方程式、粘性バーガース方程式、アレン＝キャーン方程式に対しても高い精度を示した。
• 敵対的訓練フレームワークにより、標準PINNsが抱える条件数の二乗化問題を、ペナルティ付き最小二乗法の代わりに原双対的・ゲーム理論的定式化を用いることで回避した。
• 競争的勾配降下法（CGD）の使用により、PINNと識別器の安定的かつ共同最適化が可能となり、均衡状態で正確なPDE解に収束した。