[論文レビュー] Machine Learning For Elliptic PDEs: Fast Rate Generalization Bound, Neural Scaling Law and Minimax Optimality

Yiping Lu, Haoxuan Chen+3 more|arXiv (Cornell University)|Oct 13, 2021

Model Reduction and Neural Networks参考文献 12被引用数 11

ひとこと要約

この論文は、楕円型PDEの深層学習ソルバー、特にDeep Ritz法（DRM）と物理則を組み込んだニューラルネットワーク（PINNs）に対して、高速レートの一般化バウンドを確立する。PINNsと修正されたDRMのミニマックス最適性を証明し、次元依存のニューラルスケーリング則を導出し、標準的なDRMがH¹ノルムにおけるサンプリング由来の分散によって制限され、収束速度が劣化することを示している。

ABSTRACT

In this paper, we study the statistical limits of deep learning techniques for solving elliptic partial differential equations (PDEs) from random samples using the Deep Ritz Method (DRM) and Physics-Informed Neural Networks (PINNs). To simplify the problem, we focus on a prototype elliptic PDE: the Schrödinger equation on a hypercube with zero Dirichlet boundary condition, which has wide application in the quantum-mechanical systems. We establish upper and lower bounds for both methods, which improves upon concurrently developed upper bounds for this problem via a fast rate generalization bound. We discover that the current Deep Ritz Methods is sub-optimal and propose a modified version of it. We also prove that PINN and the modified version of DRM can achieve minimax optimal bounds over Sobolev spaces. Empirically, following recent work which has shown that the deep model accuracy will improve with growing training sets according to a power law, we supply computational experiments to show a similar behavior of dimension dependent power law for deep PDE solvers.

研究の動機と目的

• 楕円型PDEの深層学習ベースのソルバー、特にDRMとPINNsの理論的統計的限界を確立すること。
• 従来の遅いレート$O(1/ ol)$の結果を改善する、DRMとPINNsの一般化誤差を高速レートバウンドで分析すること。
• 標準的Deep Ritz法がH¹ノルムにおけるサンプリング由来の分散によって劣化する理由を特定すること。
• Sobolev空間上でのミニマックス最適収束レートを達成する修正されたDRMを提案すること。
• 深層PDEソルバーにニューラルスケーリング則が存在することを実証し、訓練データサイズに対する誤差のべき乗則的スケーリングを示すこと。

提案手法

• 損失関数の強い凸性を利用し、DRMとPINNsに対して$O(1/n)$のオーダーの高速レート一般化バウンドを導出する。
• 行列 Bernstein 不等式を用いて、解の経験的および期待されるH¹ノルムの差をバウンドし、標準的DRMにおける分散を支配する$Z^d/n$項を特定する。
• DRMの目的関数をフーリエ係数上の二次計画問題として定式化し、標準推定子と経験的解との比較を可能にする。
• H¹ノルムにおけるサンプリング由来バイアスを補正する修正DRMを導入し、収束レートの向上を実現する。
• Fanoの不等式とVarshamov-Gilbert補題を用いてミニマックス下界を確立し、PINNsおよび修正DRMの上界の最適性を証明する。
• 数値実験を通じて、テスト誤差と訓練データサイズの間のべき乗則的スケーリングが存在することを検証し、他の深層学習タスクにおけるニューラルスケーリング則と整合することを確認する。

実験結果

リサーチクエスチョン

• RQ1 楕円型PDEを解くDRMとPINNsに対して、高速レート一般化バウンドを確立できるか？
• RQ2 標準的Deep Ritz法が劣化する理由は何か？ その遅い収束レートの原因は何か？
• RQ3 修正されたDRMがSobolev空間上でのミニマックス最適収束レートを達成できるか？
• RQ4 深層PDEソルバーは、誤差が訓練データサイズのべき乗則に従うニューラルスケーリング則に従うか？
• RQ5 提案された一般化誤差上界が、情報理論的下界によって確認されるようにタイトなものか？

主な発見

• 本論文は、DRMとPINNsの両方に対して$O(1/n)$のオーダーの高速レート一般化バウンドを確立し、従来の$O(1/ ol)$の結果を改善した。
• 標準的DRMがH¹ノルムにおけるサンプリング由来の分散項$Z^d/n$のおかげで劣化しており、最適レートの$Z^{d-2}/n$の分散項を支配していることが示された。
• このサンプリングバイアスを補正する修正DRMを提案し、$n^{-\frac{2s-2}{d+2s-4}}$のミニマックス最適収束レートを達成した。
• PINNsと修正DRMは、Sobolev空間上でのミニマックス最適レートを達成し、情報理論的下界と一致することが証明された。
• 数値実験により、テスト誤差と訓練データサイズの間のべき乗則的スケーリングが確認され、指数$ alpha \propto 1/d$が他の深層学習タスクにおけるニューラルスケーリング則と整合的であった。
• 理論的分析により、DRMの収束レートが、経験的および期待される作用素間のH¹ノルムの乖離によって制限されていることが明らかになった。これは、標準的な近似誤差解析では捉えられていない。