[論文レビュー] Separable Physics-Informed Neural Networks

Jun Woo Cho, Seungtae Nam+4 more|arXiv (Cornell University)|Jun 28, 2023

Model Reduction and Neural Networks被引用数 27

ひとこと要約

SPINN は軸分離型サブネットワークと前向きモード自動微分を使用して PINN の計算を劇的に削減し、多次元 PDE のための非常に大きなコロケーション点集合と、より高速でより正確な解を実現します。

ABSTRACT

Physics-informed neural networks (PINNs) have recently emerged as promising data-driven PDE solvers showing encouraging results on various PDEs. However, there is a fundamental limitation of training PINNs to solve multi-dimensional PDEs and approximate highly complex solution functions. The number of training points (collocation points) required on these challenging PDEs grows substantially, but it is severely limited due to the expensive computational costs and heavy memory overhead. To overcome this issue, we propose a network architecture and training algorithm for PINNs. The proposed method, separable PINN (SPINN), operates on a per-axis basis to significantly reduce the number of network propagations in multi-dimensional PDEs unlike point-wise processing in conventional PINNs. We also propose using forward-mode automatic differentiation to reduce the computational cost of computing PDE residuals, enabling a large number of collocation points (>10^7) on a single commodity GPU. The experimental results show drastically reduced computational costs (62x in wall-clock time, 1,394x in FLOPs given the same number of collocation points) in multi-dimensional PDEs while achieving better accuracy. Furthermore, we present that SPINN can solve a chaotic (2+1)-d Navier-Stokes equation significantly faster than the best-performing prior method (9 minutes vs 10 hours in a single GPU), maintaining accuracy. Finally, we showcase that SPINN can accurately obtain the solution of a highly nonlinear and multi-dimensional PDE, a (3+1)-d Navier-Stokes equation. For visualized results and code, please see https://jwcho5576.github.io/spinn.github.io/.

研究の動機と目的

• 多次元および複雑な PDE のトレーニング時の計算ボトルネックを動機づけ、解決する。
• PDE の残差を計算するために必要な前向きパスの回数を削減する分離可能なネットワークアーキテクチャを提案する。
• 一般消費者用GPUで大規模なコロケーション点集合を可能にする前向きモード自動微分を活用する。
• 3Dおよび4D の問題における拡散、Helmholtz、Klein-Gordon、Navier–Stokes 方程式で、精度と速度の改善を実証する。

提案手法

• 入力を d 個の1次元軸に分割し、それぞれの軸を d 個のボディネットに入力するSPINNを導入する。
• 各ボディネット f^(θ_i): R -> R^r は軸 i の特徴量ベクトルを出力する。
• 予測解は û(x1,...,xd) = sum_{j=1}^r prod_{i=1}^d f_j^(θ_i)(x_i)（低ランクテンソル表現）として計算される。
• 前向きモード AD を用いて微分と PDE 残差を効率的に計算し、勾配の Jacobian-ベクトル評価を O(Nd) に達成する。
• 入力の直交点の(Cartesian)積によって形成される因子分解可能な（格子状の）コロケーション点を訓練に活用し、入力点数が控えめでも高密度評価を可能にする。
• 普遍近似性の主張（L^2ベース）と複数の PDE に対する実験的検証を提供する。

実験結果

リサーチクエスチョン

• RQ1 SPINN は従来の PINN と比較して多次元 PDE の計算コストとメモリ使用量を削減し、精度を維持または向上させることができるか。
• RQ2 軸ごとの分離と前向きモード AD は標準的な GPU 上で非常に大きなコロケーション点集合（>10^7）を扱えるようにするか。
• RQ3 SPINN は従来の PINN 手法よりも速く難しい PDE（例: カオス的 Navier–Stokes）を解くことができ、精度を維持できるか。

主な発見

• SPINN は、同じコロケーション点を用いたベースライン PINN と比較して、ウォールクロック時間を最大で 62 倍短縮し、フロップ削減を最大で 1,394 倍達成した。
• 分離入力と前向きモード AD の併用は高次導関数の計算コストを低減し、商用 GPU 上で非常に大きなコロケーション点集合を可能にする。
• SPINN はカオス的な（2+1）次元 Navier–Stokes 方程式を、単一GPUで 10 時間ではなく 9 分で解くことができ、因果帰納的バイアスなしで実現できる。
• SPINN は 3+1 次元 Navier–Stokes および拡散、Helmholtz、Klein-Gordon などの他の PDE に対して、従来の PINN よりも効率と精度を向上させつつ正確な解を示す。
• この手法は L^2 における普遍近似性をサポートし、解の低ランクテンソル解釈を merging 操作として与える。