[論文レビュー] Tackling the Curse of Dimensionality with Physics-Informed Neural Networks

Zheyuan Hu, Khemraj Shukla+2 more|arXiv (Cornell University)|Jul 23, 2023

Model Reduction and Neural Networks参考文献 62被引用数 17

ひとこと要約

論文は Stochastic Dimension Gradient Descent (SDGD) を導入し、PINNsを任意の高次元PDEへスケールさせる方法を提案。理論的な収束保証と、非常に高次元の問題に対する高速でメモリ効率の良い実験を示す。

ABSTRACT

The curse-of-dimensionality taxes computational resources heavily with exponentially increasing computational cost as the dimension increases. This poses great challenges in solving high-dimensional PDEs, as Richard E. Bellman first pointed out over 60 years ago. While there has been some recent success in solving numerically partial differential equations (PDEs) in high dimensions, such computations are prohibitively expensive, and true scaling of general nonlinear PDEs to high dimensions has never been achieved. We develop a new method of scaling up physics-informed neural networks (PINNs) to solve arbitrary high-dimensional PDEs. The new method, called Stochastic Dimension Gradient Descent (SDGD), decomposes a gradient of PDEs into pieces corresponding to different dimensions and randomly samples a subset of these dimensional pieces in each iteration of training PINNs. We prove theoretically the convergence and other desired properties of the proposed method. We demonstrate in various diverse tests that the proposed method can solve many notoriously hard high-dimensional PDEs, including the Hamilton-Jacobi-Bellman (HJB) and the Schrödinger equations in tens of thousands of dimensions very fast on a single GPU using the PINNs mesh-free approach. Notably, we solve nonlinear PDEs with nontrivial, anisotropic, and inseparable solutions in 100,000 effective dimensions in 12 hours on a single GPU using SDGD with PINNs. Since SDGD is a general training methodology of PINNs, it can be applied to any current and future variants of PINNs to scale them up for arbitrary high-dimensional PDEs.

研究の動機と目的

• Motivate and address the curse of dimensionality in solving high-dimensional PDEs with PINNs.
• Develop a gradient-splitting training method (SDGD) that reduces memory use and accelerates convergence.
• Provide theoretical guarantees for unbiased gradients and convergence of SDGD.
• Demonstrate the method on diverse high-dimensional PDEs including HJB and Schrödinger equations.

提案手法

• PDE残差勾配を次元ごとに分解し、一部をサンプリングして無偏な確率勾配を形成。
• SDGDを、ランダムに選択した PDE項の集合 I を定義し、それらの項だけをバックプロパゲーションすることでメモリを削減する過程として定義。
• SDGD勾配が無偏であり収束保証を確立。
• 勾配蓄積と並列計算を用いてトレーニングをさらに高速化するよう、SDGDを拡張。
• 分散を速度とトレードオフする前方-後方サンプリング戦略（アルゴリズム2および3）を提案。
• SDGDはメッシュフリーのPINNトレーニングと全領域予測を可能にし、単一GPUで100kの有効次元までの極めて高次元へスケールすることを示す。

Figure 5: Convergence plot obtained from data-parallel algorithm for HJB-Lin equation in 100,000 dimensions. To perform this experiment we use DIM=101 and $N_{f}=100$ . Here we denote the batch size for dimension in Algorithms 1 and/or 2 of SDGD as DIM and the number of collocation points used in ea

実験結果

リサーチクエスチョン

• RQ1 SDGDは次元を跨ぐPDE項に分解されたPINNトレーニング時に勾配を無偏に提供できるか？
• RQ2 PDE項のサンプリングはメモリを削減し、精度を損なうことなく収束を加速できるか？
• RQ3 高次元PDEにおけるSDGDと collocation点上の標準SGDを、安定性・収束・メモリ使用の観点で比較するとどうなるか？
• RQ4 SDGDはHamilton-Jacobi-BellmanやSchrödinger方程式のような高次元PDEを、実用的なハードウェアで非常に大きな次元まで解けるか？
• RQ5 SDGDに伴う理論的保証（無偏性、収束）とは何か、固定メモリ予算下で最適な分散を得るためのバッチサイズの選択はどうあるべきか？

主な発見

• SDGDはPDE項勾配をサンプリングすることでPINNの無偏な確率勾配を得られ、メモリ効率の良いトレーニングを実現する。
• SDGDにより極めて高次元のPDEへスケールでき、場合によっては非線形PDEを、単一GPU上で数時間内に100,000の有効次元まで、非自明で異方性・分離不可能な解を持つ問題も解ける。
• SDGDはcollocation点上の SGD と同程度の安定性を示し、同じメモリ制約の下でいくつかの非線形高次元PDEにおいてそれを上回ることさえある。
• この手法はメッシュフリーのトレーニングと全領域予測を可能にし、敵対的トレーニングと組み合わせると高次元学習の速度を大幅に加速する。
• このアプローチは並列計算と勾配蓄積を活用し、著しい速度アップを達成するとともに、PINNsの極めて高次元への実用的適用範囲を拡大する。

Figure 6: Schematic of tensor parallel approach. Here, $w$ is a weight matrix that is split into column axis and deployed to different GPUs.