[論文レビュー] Reduced-PINN: An Integration-Based Physics-Informed Neural Networks for Stiff ODEs

Pouyan Nasiri, Roozbeh Dargazany|arXiv (Cornell University)|Aug 23, 2022

Model Reduction and Neural Networks被引用数 6

ひとこと要約

この論文では、剛性のあるODEを弱形式の積分方程式に再定式化することで、標準PINNが剛性系において訓練の不安定性や性能の悪さを示す問題を克服する、Reduced-PINNという物理情報付きニューラルネットワークフレームワークを提案する。複数の損失項を1つの積分に基づく損失に置き換えることで、Reduced-PINNは、ROBER問題を含む、剛性のある化学動力学の安定的で正確かつ計算的に効率的なシミュレーションを可能にし、BDFのような高次数の数値解法と同等の結果を得られる。

ABSTRACT

Physics-informed neural networks (PINNs) have recently received much attention due to their capabilities in solving both forward and inverse problems. For training a deep neural network associated with a PINN, one typically constructs a total loss function using a weighted sum of different loss terms and then tries to minimize that. This approach often becomes problematic for solving stiff equations since it cannot consider adaptive increments. Many studies reported the poor performance of the PINN and its challenges in simulating stiff chemical active issues with administering conditions of stiff ordinary differential conditions (ODEs). Studies show that stiffness is the primary cause of the failure of the PINN in simulating stiff kinetic systems. Here, we address this issue by proposing a reduced weak-form of the loss function, which led to a new PINN architecture, further named as Reduced-PINN, that utilizes a reduced-order integration method to enable the PINN to solve stiff chemical kinetics. The proposed Reduced-PINN can be applied to various reaction-diffusion systems involving stiff dynamics. To this end, we transform initial value problems (IVPs) to their equivalent integral forms and solve the resulting integral equations using physics-informed neural networks. In our derived integral-based optimization process, there is only one term without explicitly incorporating loss terms associated with ordinary differential equation (ODE) and initial conditions (ICs). To illustrate the capabilities of Reduced-PINN, we used it to simulate multiple stiff/mild second-order ODEs. We show that Reduced-PINN captures the solution accurately for a stiff scalar ODE. We also validated the Reduced-PINN against a stiff system of linear ODEs.

研究の動機と目的

• 広範な時間スケールの差がある化学動力学における、剛性のある常微分方程式（ODE）のシミュレーションに失敗する標準PINNの問題を解決すること。
• 速い動的挙動と遅い動的挙動から生じる対立する勾配のため、剛性の影響を受ける重み付き和損失関数の限界を克服すること。
• 初期値問題を弱形式の積分方程式に変換することで、統一的で単一の損失関数の定式化を実現し、複雑さを低減するとともに、訓練の安定性を向上させること。
• 時間領域を小さな区間に分割して順次Reduced-PINNを適用することで、剛性系の長期間シミュレーションを可能にすること。
• ベンチマークとしての剛性のある問題、特に非線形ROBER系を用いてフレームワークを検証し、標準PINNよりも優れた正確性と効率性を示すこと。

提案手法

• 弱形式の定式化を用いて初期値問題（IVP）を等価な積分方程式に変換し、明示的なODEおよび初期条件の損失項を排除する。
• 積分方程式の残差に基づいた、単一で統一された損失関数を構築し、標準PINNに見られる複数の損失成分を置き換える。
• 積分項を効率的に近似するための低次元統合手法を適用し、計算コストを削減する。
• 時間領域を小さな区間に分割して、順次Reduced-PINNを適用することで、より高速で安定した長期間のシミュレーションを実現する。
• 自動微分を用いて損失関数を強制する深層ニューラルネットワークを訓練し、解の軌道を近似する。
• 高精度なシミュレーションの比較基準として、後退差分公式（BDF）を用いる。

実験結果

リサーチクエスチョン

• RQ1 単一の積分に基づく損失関数が、剛性ODEの訓練安定性を向上させるために、標準PINNの複数の損失項を置き換えることができるか？
• RQ2 ODEを弱形式の積分方程式に変換することで、標準PINNよりも正確で効率的な剛性のある化学動力学のシミュレーションが可能になるか？
• RQ3 時間領域を小さな区間に分割して順次Reduced-PINNを適用することで、剛性系の長期間ダイナミクスを効果的にシミュレートできるか？
• RQ4 9次の時間スケールの差を示すベンチマーク問題、例えばROBER系において、Reduced-PINNはどの程度の性能を示すか？
• RQ5 Reduced-PINNは、計算コストを削減しながらも、BDFのような高次数の数値解法と同等の正確性を達成できるか？

主な発見

• Reduced-PINNは、剛性のあるスカラーODEの解を正確に捉え、標準PINNよりも優れた性能を示した。
• 線形ODEの剛性系において、Reduced-PINNは正確な解と非常に良好な一致を示し、そのロバスト性を検証した。
• 時間スケールの差が9次の非線形剛性系として知られるベンチマーク問題であるROBER問題において、Reduced-PINNはBDFソルバの結果と高い忠実度で一致した。
• 標準PINNが収束に失敗する問題においても、Reduced-PINNは著しく低い計算コストで正確なシミュレーションを実現した。
• 時間領域を小さな区間に分割して順次Reduced-PINNを適用することで、安定的でスケーラブルな長期間シミュレーションが可能になった。
• 単一積分損失の定式化により、標準PINNで一般的に見られる勾配の不均衡問題が解消され、より信頼性の高い訓練が可能になった。