[論文レビュー] Lie Point Symmetry and Physics Informed Networks

Tara Akhound-Sadegh, Laurence Perreault-Levasseur+3 more|arXiv (Cornell University)|Nov 7, 2023

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、Lie点対称性を統合することで、物理情報付きニューラルネットワーク（PINNs）のサンプル効率と一般化性能を向上させる対称性に配慮した損失関数を提案する。無限小対称性生成子が偏微分方程式（PDE）の解を保存することを強制することで、特にバーガース方程式のような複雑で非線形なPDEに対してPINNの性能が向上し、実験結果では顕著な誤差低減と長時間予測の改善が確認された。

ABSTRACT

Symmetries have been leveraged to improve the generalization of neural networks through different mechanisms from data augmentation to equivariant architectures. However, despite their potential, their integration into neural solvers for partial differential equations (PDEs) remains largely unexplored. We explore the integration of PDE symmetries, known as Lie point symmetries, in a major family of neural solvers known as physics-informed neural networks (PINNs). We propose a loss function that informs the network about Lie point symmetries in the same way that PINN models try to enforce the underlying PDE through a loss function. Intuitively, our symmetry loss ensures that the infinitesimal generators of the Lie group conserve the PDE solutions. Effectively, this means that once the network learns a solution, it also learns the neighbouring solutions generated by Lie point symmetries. Empirical evaluations indicate that the inductive bias introduced by the Lie point symmetries of the PDEs greatly boosts the sample efficiency of PINNs.

研究の動機と目的

• 偏微分方程式（PDE）を解く際のPINNsの一般化性能とサンプル効率の限界を是正すること。
• PDEの解を保存することが知られるLie点対称性を、PINNフレームワークにインダクティブバイアスとして統合することの探求。
• 自動微分に基づく微分可能で、対称性制約をPINN損失関数内直接に強制する手法の開発。
• 対称性正則化が、特に長時間予測やバーガース方程式のような非線形PDEにおいて一般化性能を向上させることの実証。

提案手法

• 自動微分を用いて、Lie点対称性生成子を偏導関数に作用させるように拡張することで、対称性損失を定式化する。
• Lie群の各無限小生成子に対して、対称性ベクトル場とPDE残差の直交条件を計算し、解の対称変換による不変性を強制する。
• 標準PINN損失（PDE残差、初期条件、境界条件の項を含む）に、対称性損失をペナルティ項として追加する。
• PDE損失と同じコロケーション点で対称性損失を強制することで、同時に最適化を可能にする。
• 冗長性を避けるため、PDE残差に比例する対称性は除外し、有用な対称性のみを選別することで、学習信号の質を向上させる。
• 熱方程式およびバーガース方程式に本手法を適用し、残差点および対称性点の数を変化させたモデルを訓練し、サンプル効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 Lie点対称性は、PINNsにおける正則化メカニズムとして、一般化性能とサンプル効率の向上に有効に統合可能か？
• RQ2 異なるPDEにおいて、対称性に基づく損失は、標準PINN損失と比較して予測精度と頑健性にどのように寄与するか？
• RQ3 どのLie点対称性が学習信号に意味的に寄与し、それらは自動的に同定・強制可能か？
• RQ4 対称性正則化は、長時間予測やショックを形成するPDE（例：バーガース方程式）において特に性能向上をもたらすか？
• RQ5 特に正確なシミュレーションが高コストな状況において、対称性損失は大規模な残差データセットへの依存を低減または置き換えることができるか？

主な発見

• Lie点対称性損失の導入により、PINNsのサンプル効率が顕著に向上し、限られた訓練データでもテスト誤差が低減された。
• バーガース方程式では、対称性損失を用いたモデルがベースラインより低い平均二乗誤差を達成しており、特にショック形成が顕著になる大時間ステップで顕著な改善が見られた。
• 対称性損失は長時間予測の性能を向上させ、図3では対称性正則化モデルがショックダイナミクスをより正確に捉えていた。
• 一部の対称性（例：バーガース方程式におけるv₅）のみが有用な学習信号を提供し、他の対称性は冗長またはPDE損失と同等であった。
• 残差点の数を増やすと、標準PINNsと同等またはより良い性能を達成したため、対称性正則化がデータ拡張の効率的代替手段であると考えられる。
• バーガース方程式の実験では、L2距離よりもコサイン類似度が対称性損失の測定に有効であることが判明し、損失定式化の感度に起因する可能性がある。