[論文レビュー] TSONN: Time-stepping-oriented neural network for solving partial differential equations

Wenbo Cao, Weiwei Zhang|arXiv (Cornell University)|Oct 25, 2023

Model Reduction and Neural Networks被引用数 7

ひとこと要約

TSONNは、偏微分方程式（PDE）の解法を擬似的な時間間隔における良好に条件付けられた部分問題の系列に再定式化する時間ステッピング指向のニューラルネットワークを導入する。これにより、標準的なPINNsに比べて訓練の安定性と精度が向上する。時間ステッピングとディープラーニングを統合することで、PINNsが失敗する問題に対しても強力な収束性を達成し、損失関数の単純な修正で実現可能である。

ABSTRACT

Deep neural networks (DNNs), especially physics-informed neural networks (PINNs), have recently become a new popular method for solving forward and inverse problems governed by partial differential equations (PDEs). However, these methods still face challenges in achieving stable training and obtaining correct results in many problems, since minimizing PDE residuals with PDE-based soft constraint make the problem ill-conditioned. Different from all existing methods that directly minimize PDE residuals, this work integrates time-stepping method with deep learning, and transforms the original ill-conditioned optimization problem into a series of well-conditioned sub-problems over given pseudo time intervals. The convergence of model training is significantly improved by following the trajectory of the pseudo time-stepping process, yielding a robust optimization-based PDE solver. Our results show that the proposed method achieves stable training and correct results in many problems that standard PINNs fail to solve, requiring only a simple modification on the loss function. In addition, we demonstrate several novel properties and advantages of time-stepping methods within the framework of neural network-based optimization approach, in comparison to traditional grid-based numerical method. Specifically, explicit scheme allows significantly larger time step, while implicit scheme can be implemented as straightforwardly as explicit scheme.

研究の動機と目的

• PDE残差の最小化に起因する最適化の悪条件性が原因で、物理に基づくニューラルネットワーク（PINNs）の不安定性と収束性の欠如を解消すること。
• 前向きおよび逆問題におけるPDEの解法の訓練のロバスト性と解の精度を向上させること。
• 時間ステッピング法をディープラーニングフレームワークに統合し、悪条件な問題を良好に条件付けられた部分問題に変換すること。
• 時間ステッピングをニューラルネットワーク最適化に適用することで、従来のグリッドベースの数値手法に比べて利点が得られることを示すこと。具体的には、明示的スキームにおける大きな時間ステップや、陰的スキームの直感的な実装を含む。

提案手法

• PDEの解法タスクを離散的な擬似的な時間間隔における最適化部分問題の系列に再定式化し、時間積分を模倣する。
• 時間ステッピングフレームワークを活用して、元の悪条件なPDE残差最小化問題を良好に条件付けられた部分問題の系列に分解する。
• 損失関数を変更し、各擬似的な時間ステップにおけるPDE残差を強制することで、時間ステッピング経路に沿った安定した勾配伝播を可能にする。
• 明示的時間ステッピングスキームでは、安定性の問題が生じないため、より大きな時間ステップが可能である。一方、陰的スキームは最小限の複雑性で実装可能である。
• 標準的なニューラルネットワークの構造を維持しつつ、訓練ダイナミクスを擬似的な時間発展経路に再編成する。
• 本手法は前向きおよび逆問題の両方と互換性があり、損失関数の適応を超えてアーキテクチャの変更は不要である。

実験結果

リサーチクエスチョン

• RQ1 時間ステッピングをPDEの解法におけるディープラーニングに効果的に統合することで、訓練の安定性が向上するか？
• RQ2 擬似的な時間間隔におけるPDE残差最小化を部分問題の系列に変換することで、直接的な残差最小化に比べて収束性が向上するか？
• RQ3 ニューラルネットワークの訓練における明示的時間ステッピングスキームが、古典的手法と同様に安定性を損なわずに大きな時間ステップを許容するか？
• RQ4 ニューラルネットワークフレームワーク内での陰的時間ステッピングスキームが、明示的スキームと同程度に簡潔に実装可能か？
• RQ5 本手法で提案された時間ステッピング指向のニューラルネットワークは、従来のグリッドベースの数値手法と比較して、精度と効率の面で優れているか？

主な発見

• TSONNは、標準的なPINNsが収束しないか、不正確な結果を出力するPDE問題に対しても、安定した訓練と正しい解を達成する。
• 悪条件な最適化を擬似的な時間間隔における良好に条件付けられた部分問題の系列に変換することで、収束性が著しく向上する。
• TSONNにおける明示的時間ステッピングスキームは、古典的手法と同様に、安定性を損なわずに大きな時間ステップを許容する。
• ニューラルネットワークフレームワーク内では、陰的時間ステッピングスキームが明示的スキームと同等の簡潔さで実装可能である。
• 本手法は損失関数の単純な修正のみを要するため、既存のPINN実装への容易な適応が可能である。
• TSONNは、特に条件数が高い問題において、前向きおよび逆問題の両方を解く際のロバスト性に優れている。