[論文レビュー] Two-Layer Neural Networks for Partial Differential Equations: Optimization and Generalization Theory

Tao Luo, Haizhao Yang|arXiv (Cornell University)|Jun 28, 2020

Model Reduction and Neural Networks参考文献 49被引用数 50

ひとこと要約

本論文は、過剰パラメータ化された2層ニューラルネットワーク上の勾配降下法が最小二乗形の解法を通じて二階線形偏微分方程式を解くグローバルミニマイザーを見つけることができることを証明し、Barron型スペースに基づく一般化を分析する。

ABSTRACT

The problem of solving partial differential equations (PDEs) can be formulated into a least-squares minimization problem, where neural networks are used to parametrize PDE solutions. A global minimizer corresponds to a neural network that solves the given PDE. In this paper, we show that the gradient descent method can identify a global minimizer of the least-squares optimization for solving second-order linear PDEs with two-layer neural networks under the assumption of over-parametrization. We also analyze the generalization error of the least-squares optimization for second-order linear PDEs and two-layer neural networks, when the right-hand-side function of the PDE is in a Barron-type space and the least-squares optimization is regularized with a Barron-type norm, without the over-parametrization assumption.

研究の動機と目的

• PDE解をニューラルネットワークでパラメータ化して最小二乗問題として定式化する。
• 過剰パラメータ化の下で、2階線形PDEに対して勾配降下がグローバルミニマイザーへ収束することを示す。
• Barron型スペースとパスノルム正規化を用いてPDE解法の一般化境界を開発する。
• 境界条件を含むPDE解法設定に対して、ニューラル・タンジェントカーネルに触発された分析を拡張する。
• PDE文脈における経験的損失と母集団損失を比較するためのフレームワークを提供する。

提案手法

• PDE解をパラメータ化する2層ニューラルネットワークを用い、内部作用素と境界作用素を組み合わせた母集団損失を定式化する。
• 境界条件が多い問題を、特定の補助関数を設計してネットワークが特定の境界条件を自動的に満たす形へ転換する。
• 過剰パラメータ化と有界作用素仮定の下で、経験的損失のグローバルミニマイザーへの線形収束を証明する。
• 複雑さを定量化し、切り捨てトリックなしの一般化境界を可能にするBarron型関数空間とパスノルムを導入する。
• PDE解法設定のRademacher複雑さを用いた事後・事前一般化境界を導出する。
• Barron型ノルムと正規化を通じて経験的最小解と母集団最小解を関連付ける。

実験結果

リサーチクエスチョン

• RQ1 過剰パラメータ化された2層ネットワークを用いたPDE解法の最小二乗問題で勾配降下法はグローバルミニマイザーを見つけられるか。
• RQ2 Barron型スペースに右辺がある場合、経験的ミニマイザーと母集団ミニマイザーの比較はどうなるか。
• RQ3 PDEソルバーを設計する際、境界条件はどのような役割を果たすのか（自動的に満たすような設計で）。
• RQ4 Barron型ノルムとパスノルム正規化を用いたPDEソルバーの一般化保証は何か。
• RQ5 Rademacher複雑さをPDEニューラルソルバーの一般化誤差の界を求めるのにどう活用できるか。

主な発見

• 過剰パラメータ化の下で、勾配降下は二階線形PDEの経験的PDE損失のグローバルミニマイザーへ線形収束を達成する。
• 事後一般化ギャップは、パスノルムとサンプル数の平方根の逆数に比例する項によって上界付けられる。
• 右辺がBarron型空間にありBarron型正規化を用いると、事前一般化境界は目標関数のBarronノルムに比例する。
• 特殊な境界条件設計ネットワークは、損失のハイパーパラメータでPDE項と境界項をバランスさせる必要を取り除く。
• この分析は、ニューラルタンジェントカーネルの考え方とBarron-space一般化理論を、可変係数と二階微分演算子を持つPDEソルバーへ拡張する。