[論文レビュー] PINNsFormer: A Transformer-Based Framework For Physics-Informed Neural Networks

Lizhong Zhao, Xueying Ding+1 more|arXiv (Cornell University)|Jul 21, 2023

Model Reduction and Neural Networks被引用数 24

ひとこと要約

PINNsFormerは、Pseudo sequence generatorとWavelet活性化を備えたTransformerベースのシーケンス対シーケンスフレームワークを導入し、PDEの時間的依存性を捉え、従来のPINNより一般化性能と精度を向上させる。

ABSTRACT

Physics-Informed Neural Networks (PINNs) have emerged as a promising deep learning framework for approximating numerical solutions to partial differential equations (PDEs). However, conventional PINNs, relying on multilayer perceptrons (MLP), neglect the crucial temporal dependencies inherent in practical physics systems and thus fail to propagate the initial condition constraints globally and accurately capture the true solutions under various scenarios. In this paper, we introduce a novel Transformer-based framework, termed PINNsFormer, designed to address this limitation. PINNsFormer can accurately approximate PDE solutions by utilizing multi-head attention mechanisms to capture temporal dependencies. PINNsFormer transforms point-wise inputs into pseudo sequences and replaces point-wise PINNs loss with a sequential loss. Additionally, it incorporates a novel activation function, Wavelet, which anticipates Fourier decomposition through deep neural networks. Empirical results demonstrate that PINNsFormer achieves superior generalization ability and accuracy across various scenarios, including PINNs failure modes and high-dimensional PDEs. Moreover, PINNsFormer offers flexibility in integrating existing learning schemes for PINNs, further enhancing its performance.

研究の動機と目的

• 標準PINNが時系列偏微分方程式を解く際に時間的依存性を無視しがちな点を動機づけ、対処する。
• PDE解における時間的依存性を捉えるTransformerベースのアーキテクチャ（PINNsFormer）を提案する。
• 普遍近似能力と微分推定を高める新規Wavelet活性化を導入する。
• 対流・反応・波動・高次元PDEに対する一般化と性能の向上を示し、既存のPINN学習方式との互換性を確保する。

提案手法

• Pseudo Sequence Generatorを用いて、点ごとの時空間入力を疑似シーケンスへ変換する。
• Spatio-Temporal Mixerを用いて、特徴を高次元空間に埋め込み、混合する。
• Encoder-Decoderとマルチヘッドアテンションを用いて、シーケンス全体の依存関係を学習する。
• Wavelet活性化を導入してPDE解と微分の近似精度を高める。
• 残差・境界条件・初期条件を識別する逐次的PINN損失を採用する。
• NTKなどの既存のPINN学習スキームと統合可能で、性能を強化する。

Figure 1: Architecture of proposed PINNsFormer. PINNsFormer generates a pseudo sequence based on pointwise input features. It outputs the corresponding sequential approximated solution. The first approximation of the sequence is the desired solution $\hat{u}(\bm{x},t)$ .

実験結果

リサーチクエスチョン

• RQ1 Transform型モデルは、従来のPINNよりPDE解の時間的依存性をより良く捉えられるのか。
• RQ2 疑似シーケンス表現は、時系列依存性のあるPDEの解法において精度と安定性にどのような影響を与えるのか。
• RQ3 Wavelet活性化は、PINNsFormerの近似力と微分忠実度にどのような影響を与えるのか。
• RQ4 PINNsFormerは高次元PDEや他の学習スキーム（例：NTK）と組み合わせたときにどの程度性能を発揮するのか。

主な発見

• PINNsFormerは、対流および1D反応PDEでPINN・QRes・FLSより学習損失とテスト誤差が低く、PINNの故障モードを緩和する。
• NTKを用いた1D-Waveで、PINNsFormer+NTKが報告された指標のうち最良のrMAEとrRMSEを示した。
• 2D Navier–Stokesでは、PINNsFormerがベースラインよりも収束が速く、圧力予測の形状・大きさの一貫性が改善された。
• 損失地形分析により、PINNsFormerはPINNsより滑らかな地形と小さなリプシッツ定数を示し、最適化が容易であることを示唆する。
• このアプローチは標準のPINNより計算量が重いが、実用的で、k=5時には約2.9倍のコストと約2.15倍のメモリ増加にとどまる。
• PINNsFormerは既存のPINN学習戦略との互換性を維持し、柔軟なハイブリッドの実現を可能にする。

Figure 2: The architecture of PINNsFormer’s Encoder-Decoder Layers. The decoder is not equipped with self-attentions.