[論文レビュー] Separable PINN: Mitigating the Curse of Dimensionality in Physics-Informed Neural Networks

Junwoo Cho, Seungtae Nam+4 more|arXiv (Cornell University)|Nov 16, 2022

Model Reduction and Neural Networks被引用数 13

ひとこと要約

本稿では、多変数入力を独立した1次元サブネットワークに分解し、外積を用いて出力を結合することで次元の呪いを軽減する、新しい物理情報付きニューラルネットワークアーキテクチャであるSeparable PINN (SPINN) を提案する。フォワードモードの自動微分を活用することで、SPINNはFLOPsとウォルクロックトレーニング時間をO(n^d)からO(nd)に削減し、標準PINNと比較して最大57倍速く、40倍のメモリ使用量削減を達成しながら、線形および非線形PDEにおいて解の精度を維持または向上させる。

ABSTRACT

Physics-informed neural networks (PINNs) have emerged as new data-driven PDE solvers for both forward and inverse problems. While promising, the expensive computational costs to obtain solutions often restrict their broader applicability. We demonstrate that the computations in automatic differentiation (AD) can be significantly reduced by leveraging forward-mode AD when training PINN. However, a naive application of forward-mode AD to conventional PINNs results in higher computation, losing its practical benefit. Therefore, we propose a network architecture, called separable PINN (SPINN), which can facilitate forward-mode AD for more efficient computation. SPINN operates on a per-axis basis instead of point-wise processing in conventional PINNs, decreasing the number of network forward passes. Besides, while the computation and memory costs of standard PINNs grow exponentially along with the grid resolution, that of our model is remarkably less susceptible, mitigating the curse of dimensionality. We demonstrate the effectiveness of our model in various PDE systems by significantly reducing the training run-time while achieving comparable accuracy. Project page: https://jwcho5576.github.io/spinn/

研究の動機と目的

• 自動微分のオーバーヘッドによる高次元PDEにおける標準PINNの計算コストの高さと指数的スケーリングの問題に対処すること。
• 前向きおよび後向き伝播の回数を削減するネットワークアーキテクチャの再設計を通じて、PINNトレーニングにおける次元の呪いを軽減すること。
• 解の精度を損なわずに、コンmodityハードウェア上でも効率的かつスケーラブルなPINNトレーニングを可能にすること。
• 軸ごとの処理をフォワードモードADで行う因子分解型アプローチが、多変数PDEにおけるFLOPsとウォルクロック時間の大幅な削減に寄与することを実証すること。

提案手法

• SPINNは解関数を、それぞれが1つの空間的または時間的座標を処理する独立した1次元サブネットワークに分解する。
• 最終的な解は、サブネットワーク出力の外積と要素ごとの和算により計算され、全多次元入力の処理を回避する。
• 各軸に対してフォワードモードの自動微分を適用することで、勾配計算に必要な前向きパスの回数を著しく削減する。
• PDEの残差、初期条件、境界条件を非教師的学習の形で強制する損失関数を用いてアーキテクチャをトレーニングする。
• 全座標テンソルの点ごとの評価を回避することで、ネットワーク評価回数をO(n^d)からO(nd)に削減する。
• SPINNは、分離可能な関数の数学的構造を活用し、フォワードモードADを用いた効率的な勾配計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 再設計されたPINNアーキテクチャは、高次元PDEにおける自動微分の計算負荷を軽減できるか？
• RQ2 アーキテクチャ設計を通じて、フォワードモードADを効果的に活用できるか？
• RQ3 因子分解型で軸ごとの処理を施すアプローチは、PINNトレーニングにおける次元の呪いを緩和できるか？
• RQ4 多様なPDEタイプにおいて、SPINNは標準PINNと比較してトレーニング速度、メモリ使用量、解の精度の点で優れているか？

主な発見

• (2+1)次元のクライン＝ゴルドン方程式において、SPINNは標準PINNと同等の精度を維持しながら最大57倍速いトレーニングを達成した。
• ヘルムホルツ方程式において、SPINNはベースラインと比較してトレーニング時間を56倍短縮し、メモリ使用量を41％削減した。解像度を高くした場合でも同様の効果が得られた。
• 線形および非線形拡散方程式において、SPINNは180³のコロケーションポイントでベースラインと比較して40倍のメモリ使用量削減と49倍の高速化を達成した。
• 解像度が向上してもSPINNは精度を維持または向上させたが、ベースラインモデルは誤差が早期に収束し、トレーニング時間は指数関数的に増加した。
• 線形拡散方程式からヘルムホルツ方程式に移行した際、SPINNのトレーニング時間はわずか12％増加にとどまったが、ベースラインは28％増加した。これはPDEの次数に対する耐性の高さを示している。
• 可視化結果から、SPINNの解はFEniCSによる参照解とよく一致しており、ヘルムホルツ方程式のようなスティフな問題に対しても有効であることが確認された。