[論文レビュー] Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method

Wensheng Li, Chao Zhang+3 more|arXiv (Cornell University)|May 18, 2022

Model Reduction and Neural Networks被引用数 13

ひとこと要約

本稿では、生成的対抗的物理情報ニューラルネットワーク（GA-PINNs）とポイント重み付け（PW）手法を提案し、PINNの性能と学習効率を向上させる。GA-PINNsは、GANに類似した対抗的フレームワークを用いて少量の正確な解サンプルを活用し、解の精度を向上させる。一方、PWは収束を加速するために訓練点を動的に再重み付けする。両手法とも、特に複雑なまたはデータが乏しい状況において、標準PINNを著しく上回る性能を発揮する。

ABSTRACT

Physics-informed neural networks (PINNs) provide a deep learning framework for numerically solving partial differential equations (PDEs), and have been widely used in a variety of PDE problems. However, there still remain some challenges in the application of PINNs: 1) the mechanism of PINNs is unsuitable (at least cannot be directly applied) to exploiting a small size of (usually very few) extra informative samples to refine the networks; and 2) the efficiency of training PINNs often becomes low for some complicated PDEs. In this paper, we propose the generative adversarial physics-informed neural network (GA-PINN), which integrates the generative adversarial (GA) mechanism with the structure of PINNs, to improve the performance of PINNs by exploiting only a small size of exact solutions to the PDEs. Inspired from the weighting strategy of the Adaboost method, we then introduce a point-weighting (PW) method to improve the training efficiency of PINNs, where the weight of each sample point is adaptively updated at each training iteration. The numerical experiments show that GA-PINNs outperform PINNs in many well-known PDEs and the PW method also improves the efficiency of training PINNs and GA-PINNs.

研究の動機と目的

• 標準PINNが少量の正確な解サンプルを効果的に活用する能力に限界があることに対処する。
• 解析的解が得にくい状況において、特に複雑なPDEのPINNの低学習効率を克服する。
• 生成的対抗的学習と物理情報ニューラルネットワークを統合する新規フレームワークを構築し、疎で高品質なデータをより効果的に活用する。
• 残差誤差に基づくAdaboostにインspiredされたポイント重み付け戦略を提案し、訓練中にサンプルの重要性を動的に調整し、収束を加速する。
• Helmholtz、Poisson、Burgers、Schrödinger方程式を含む多様なPDEにおいて、GA-PINNsとPWの有効性を検証する。

提案手法

• 生成器ネットワークがPDEの解を生成し、識別器がそれらを正確な解と区別するGANベースのアーキテクチャとしてGA-PINNsを導入する。
• 少量のラベル付き正確な解ポイント集合 $\{({\bf x}_T^{(j)}, u_T^{(j)})\}_{j=1}^J$ を用いて、生成器と識別器をミニマックスゲームで訓練する。
• 各対抗的訓練ステップの後で、分布のずれを是正するため、標準的な物理情報ニューラルネットワーク損失 $\mathcal{L}_{\text{PINN}}$ を最小化することで生成器を微調整する。
• 残差誤差が大きい（HLポイント）および小さい（ELポイント）点の損失重みを反復的に適応的に増加させることで、ポイント重み付け（PW）手法を実装する。
• PWでは2段階の訓練戦略を採用：最初に高誤差点に注目してネットワークを安定化させ、次に低誤差点を強化することで性能を精緻化する。
• GA-PINNの訓練にPWを統合（GA-PINN+PW）することで、収束をさらに加速し、解の精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 少量の正確な解サンプルしか入手できない状況で、物理情報ニューラルネットワークはどのようにして向上させられるか？
• RQ2 生成的対抗的フレームワークは、疎で高品質な解サンプルを効果的に活用し、PINNの精度を向上させることができるか？
• RQ3 残差誤差に基づく適応的ポイント重み付けは、PINNおよびGA-PINNの学習効率を向上させるか？
• RQ4 特にラベル付きデータが限られた複雑なPDEにおいて、PW手法が失敗または性能を低下させる条件は何か？
• RQ5 GA-PINNsとPWは効果的に組み合わせられ、標準PINNよりも高速な収束と高い精度を達成できるか？

主な発見

• GA-PINNsは、Helmholtz、Poisson、およびHD Poisson方程式を含む複数のPDEにおいて、解の精度が標準PINNを著しく上回る。
• PW手法は、特に損失の急激な変動が見られる状況で、学習時間を短縮し収束速度を向上させるが、解の品質に悪影響を及げない。
• GA-PINN+PWは、テストされた大多数のPDEにおいてGA-PINNおよびPINN+PWを上回り、対抗的学習と適応的重み付けの相乗効果を示している。
• BurgersやSchrödinger方程式のような複雑なPDEでは、ラベル付きデータが不足している場合、ミニマックス訓練プロセスの不安定性によりPWが性能を低下させることがある。
• シンプルな問題ではPINN+PWがGA-PINNと同等の性能を達成するため、低複雑度のPDEと最小限のデータ環境では実用的な代替手段である。
• GA-PINNsはわずかな正確な解サンプルしか利用しない状況でも一般化性能を向上させることに成功し、データが乏しい物理モデリングの場面での有効性を裏付けている。