[論文レビュー] PIAT: Physics Informed Adversarial Training for Solving Partial Differential Equations

Simin Shekarpaz, Mohammad Azizmalayeri+1 more|arXiv (Cornell University)|Jul 14, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、自動微分を用いて偏微分方程式（PDE）制約と敵対的訓練を統合することで、物理に基づくニューラルネットワーク（PINN）の性能を向上させる新規手法である物理的制約付き敵対的訓練（PIAT）を提案する。PIATは、より少ないコロケーション点と反復回数で、非線形PDE、特に高次元のAllen-CahnおよびKuramoto-Sivashinsky方程式において、標準PINN、重み減衰、ガウスノイズ平滑化のベースラインを上回る顕著な低いテスト誤差と優れた一般化性能を達成する。

ABSTRACT

In this paper, we propose the physics informed adversarial training (PIAT) of neural networks for solving nonlinear differential equations (NDE). It is well-known that the standard training of neural networks results in non-smooth functions. Adversarial training (AT) is an established defense mechanism against adversarial attacks, which could also help in making the solution smooth. AT include augmenting the training mini-batch with a perturbation that makes the network output mismatch the desired output adversarially. Unlike formal AT, which relies only on the training data, here we encode the governing physical laws in the form of nonlinear differential equations using automatic differentiation in the adversarial network architecture. We compare PIAT with PINN to indicate the effectiveness of our method in solving NDEs for up to 10 dimensions. Moreover, we propose weight decay and Gaussian smoothing to demonstrate the PIAT advantages. The code repository is available at https://github.com/rohban-lab/PIAT.

研究の動機と目的

• 非線形偏微分方程式（PDE）を解く際の標準PINNの滑らかさの欠如と一般化性能の低さを解決すること。
• 敵対的訓練を物理に基づく学習フレームワークに統合することで、モデルのロバスト性と解の滑らかさを向上させること。
• 標準PINNが収束性と精度の面で困難を抱える高次元および高階数PDEにおいて、PIATの有効性を実証すること。
• 重み減衰やガウスノイズ平滑化といった正則化手法が、物理的制約付き敵対的訓練の文脈で果たす影響を調査すること。
• PDE制約、境界条件、解の連続性を1つのニューラルネットワークアーキテクチャで統一的に強制するフレームワークを提供すること。

提案手法

• 自動微分を用いて、入力データだけでなくPDE残差損失に対しても敵対的摂動を生成することで、PINNフレームワークに敵対的訓練を統合する。
• 全結合ニューラルネットワークを1つ使用して、領域全体における解を表現し、解およびその微分の連続性を保証する。
• 損失関数を、データ適合性、境界条件の強制、摂動を加えたPDE残差から導出された敵対的損失の組み合わせとして定式化する。
• ネットワーク入力およびPDE残差項に敵対的摂動を適用することで、学習された解のロバスト性と滑らかさを向上させる。
• ラテンハイパーボリュームサンプリング（LHS）を用いた訓練データ生成とAdam最適化手法を採用し、コロケーション点全体で組み合わせ損失関数を最小化する。
• 一般化性能の比較のため、重み減衰とガウスノイズ平滑化をアブレーションベースラインとして組み込む。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、非線形PDEを解く際の物理的制約付きニューラルネットワークの滑らかさと一般化性能を向上させることができるか？
• RQ2 低次元および高次元PDEにおいて、PIATは標準PINN、重み減衰、ガウスノイズ平滑化と比較して、テスト誤差と収束速度の点で優れているか？
• RQ3 PDE制約を敵対的訓練プロセスに統合することで、解の精度と一様な誤差分布が向上するか？
• RQ4 標準PINNと比較して、PIATはより少ないコロケーション点と反復回数で収束を達成できるか？
• RQ5 10次元のAllen-Cahn方程式（d=10）において、PIATはどのように性能を発揮するか？

主な発見

• Kuramoto-Sivashinsky方程式において、PIATは標準PINNと比較してテスト損失を最大50％まで低減し、PIATのテスト損失は$3.04 \times 10^{-7}$、PINNは$6.96 \times 10^{-7}$を記録した。
• 高次元のAllen-Cahn方程式（d=10）において、PIATはテスト損失$\mathbf{0.00118}$を達成したのに対し、PINNは$0.00284$であった。これは高次元領域における優れた性能を示している。
• 図5に示されるように、PIATは領域全体にわたり一様に低い点ごとの絶対誤差を維持しており、一貫性のある一般化性能と滑らかさを示している。
• アブレーションスタディでは、PIATは重み減衰およびガウスノイズ平滑化を上回り、後者は敵対的摂動が一般化性能の向上にランダムノイズよりも効果的であることを示している。
• PIATは、特に例2において、標準PINNよりも少ない反復回数およびコロケーション点で収束を達成しており、10,000エポックで訓練損失が$2.32 \times 10^{-7}$まで低下した。
• Sawada–Kotera方程式において、PIATは$x$および$t$の全テスト範囲でPINNよりも顕著に低い誤差を示し、非線形かつ高階数PDEにおけるロバスト性を確認した。