[論文レビュー] Improving physics-informed DeepONets with hard constraints

Rüdiger Brecht, Dmytro R. Popovych+2 more|arXiv (Cornell University)|Sep 14, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用数 3

ひとこと要約

本稿では、初期条件および境界条件を正確に表現するために、物理に基づくDeepONetにハード制約を統合する手法を提案する。これにより、これらの条件の損失関数に基づく学習の必要がなくなり、時間ステッピングにおける解の連続性が保証され、KdV方程式を含むベンチマークPDEにおいて、ソフト制約ベースラインと比較して誤差が最大80%まで低減される。

ABSTRACT

Current physics-informed (standard or deep operator) neural networks still rely on accurately learning the initial and/or boundary conditions of the system of differential equations they are solving. In contrast, standard numerical methods involve such conditions in computations without needing to learn them. In this study, we propose to improve current physics-informed deep learning strategies such that initial and/or boundary conditions do not need to be learned and are represented exactly in the predicted solution. Moreover, this method guarantees that when a deep operator network is applied multiple times to time-step a solution of an initial value problem, the resulting function is at least continuous.

研究の動機と目的

• 初期条件や境界条件が変更される度に再トレーニングを要する物理に基づくニューラルネットワークの計算効率の低さを是正すること。
• 反復的時間ステッピングにおけるソフト制約付きDeepONetの不安定性および誤差蓄積を克服すること。
• 損失関数ペナルティに依存せずに、初期条件および境界条件を正確に満たすDeepONetアーキテクチャを開発すること。
• ハード制約付きDeepONetが、精度と解の連続性においてソフト制約付きバージョンを上回ることを実証すること。
• 初期条件の正確な表現により、時間依存PDEに対する効率的で再利用可能な解演算子を実現すること。

提案手法

• ハード制約はリーマン型アーキテクチャにより実装される：$ u(t,x) \approx \mathcal{G}^{\theta}(\mathbf{\Phi})(t,x) = u_0(x,a,c) + \frac{t}{T} \mathcal{G}^{\theta}_{\rm t}(\mathbf{\Phi})(t,x) $、ここで$ \mathbf{\Phi} $はセンサ点における初期条件を符号化する。
• 初期条件は空間領域内で等間隔に配置された$ N_{\rm s} = 100 $個の点でサンプリングされ、DeepONetの入力として用いられる。
• 初期条件および境界条件がネットワーク構造によって事前に満たされるため、損失関数はPDEの残差にのみ依存するよう簡略化される。
• 時間ステッピングは、トレーニング済みのDeepONetを再帰的に適用することで実行され、直前の時間ステップの出力を新たな初期条件として使用する。
• 減衰振動子、ポアソン方程式、および正確なソリトン解を有するKorteweg–de Vries（KdV）方程式を対象に評価が行われた。
• RMSEを時間区間$[0,10]$および$[0,100]$の参照解と比較して、ソフト制約付きとハード制約付きDeepONetの比較が行われた。

実験結果

リサーチクエスチョン

• RQ1 初期条件にハード制約を課すことで、ソフト制約と比較して物理に基づくDeepONetの精度が向上するか？
• RQ2 初期条件を正確に満たすことで、反復的時間ステッピングにおける誤差蓄積が防止されるか？
• RQ3 KdV方程式のような時間依存PDEにおいて、ハード制約付きDeepONetはどのように性能を発揮するか？
• RQ4 境界条件の学習を避けることで、ハード制約付きアーキテクチャが最適化問題を単純化できるか？
• RQ5 複数回の時間ステップを実行する際、ハード制約が解の連続性に与える影響は何か？

主な発見

• KdV方程式において、ハード制約付きDeepONetは1ステップ目でRMSEを53%、10ステップ目で80%まで低減した。
• 10ステップ目において、ソフト制約付きDeepONetの誤差はハード制約付きバージョンの約5倍にのぼった。
• ハード制約付き手法では時間ステッピング中に解が連続的であることが保証されたが、ソフト制約付き手法ではステップ間でジャンプが観察された。
• 初期条件および境界条件がアーキテクチャによって満たされるため、損失関数はPDEの残差にのみ依存するようになった。
• トレーニング中に初期条件を学習する必要がなく、正確な初期条件の表現が実現された。
• 繰り返し時間ステッピングが用いられる時間依存PDEに対して、本手法は不一致な初期データに起因する誤差の拡大を回避する点で特に効果的である。