[論文レビュー] Implicit bias with Ritz-Galerkin method in understanding deep learning for solving PDEs

Jihong Wang, Zhi‐Qin John Xu+2 more|arXiv (Cornell University)|Feb 19, 2020

Model Reduction and Neural Networks参考文献 22被引用数 4

ひとこと要約

本稿は、源項 $f$ の有限個のサンプル点しか入手できない状況でポアソン方程式を解く際の、深層ニューラルネットワーク（DNN）とリーツ・ガレルキン（R-G）法の暗黙的なバイアスの違いを調査する。R-G法は低正則性の解（例えば、区分的線形関数や特異関数）を生成するが、DNNは過パラメータ化下でも周波数原理（Frequency Principle）に従い、滑らかで低周波数の解を暗黙的に好む。この対比は、データが限られた状況でも安定で一般化可能な解を得る要因となるDNNの重要なインダクティブバイアスを示している。

ABSTRACT

This paper aims at studying the difference between Ritz-Galerkin (R-G) method and deep neural network (DNN) method in solving partial differential equations (PDEs) to better understand deep learning. To this end, we consider solving a particular Poisson problem, where the information of the right-hand side of the equation f is only available at n sample points, that is, f is known at finite sample points. Through both theoretical and numerical studies, we show that solution of the R-G method converges to a piecewise linear function for the one dimensional (1D) problem or functions of lower regularity for high dimensional problems. With the same setting, DNNs however learn a relative smooth solution regardless of the dimension, this is, DNNs implicitly bias towards functions with more low-frequency components among all functions that can fit the equation at available data points. This bias is explained by the recent study of frequency principle (Xu et al., (2019) [17] and Zhang et al., (2019) [11, 19]). In addition to the similarity between the traditional numerical methods and DNNs in the approximation perspective, our work shows that the implicit bias in the learning process, which is different from traditional numerical methods, could help better understand the characteristics of DNNs.

研究の動機と目的

• 源項 $f$ の有限個のサンプルしか入手できない状況でPDEを解く際の、DNNと従来のリーツ・ガレルキン（R-G）法の解の挙動の根本的差異を理解すること。
• DNNの暗黙的なインダクティブバイアス（特に低周波数成分への好ましさ）が、R-G法と比較して解にどのように影響を与えるかを調査すること。
• 基底関数の数やニューロン数を増加させた際の両手法の解の正則性と安定性を分析すること。
• 観察されたDNNの挙動を周波数原理（F-Principle）と結びつけ、DNNが希なデータでも滑らかな補間を好む理由を説明すること。
• DNNが高次元または過パラメータ化された状況でも、R-G法が特異性を示すのとは対照的に、良好で安定した解を生成することを示すこと。

提案手法

• 源項 $f$ が $n$ 個の離散的サンプル点でのみ与えられる1次元および2次元のポアソン問題（ディリクレ境界条件付き）を定式化する。
• Ritz-Galerkin法を適用し、サンプルされた $f$ をデルタ関数の線形結合とみなして、基底関数に関するエネルギーを最小化する変分定式化を構築する。
• ReLUまたは正弦関数活性化関数を用いた深層ニューラルネットワークを用い、PDEの弱形式に相当する損失関数を勾配降下法で最小化する。
• 特に $\int \|\bm{\xi}\|^{-2}|\mathcal{F}[h](\bm{\xi})|^{2} d\bm{\xi}$ の最小化における係数関数 $\Gamma(\bm{\xi})$ の振る舞いを用いて、解の周波数成分をフーリエ解析により分析する。
• 理論的分析と数値実験を組み合わせ、基底関数の数やニューロン数を増加させた際の正則性と安定性の比較を行う。
• 周波数原理（F-Principle）に依拠し、DNNが最初に低周波数成分をフィッティングすることにより、滑らかな解が得られることを説明する。

実験結果

リサーチクエスチョン

• RQ1 源項 $f$ の有限個のサンプルしか入手できない状況でPDEを解く際、リーツ・ガレルキン法とDNN法の解の正則性にどのような違いが生じるか？
• RQ2 同じデータ制約下でもDNN法がR-G法よりも滑らかな解を生成するのはなぜか？
• RQ3 周波数原理は、PDEの解法におけるDNNのインダクティブバイアスが低周波数成分に寄与する役割をどのように果たすか？
• RQ4 基底関数の数やニューロン数を増加させると、R-G法とDNN法の両方の解の安定性と正則性にどのような影響が生じるか？
• RQ5 DNNの暗黙的なバイアスは、PDEの解法における最適化のランドスケープ構造と理論的に結びつけることができるか？

主な発見

• 1次元問題では、基底関数の数を増加させても、R-G法は常に区分的線形関数に収束する。
• 2次元問題では、基底関数の数を増加させるほど、R-G法の解にサンプル点付近での強い特異性が現れる。
• DNNの解は、すべてのテスト設定で滑らかで安定しており、ニューロン数が非常に多くても特異性の兆候を示さない。
• DNN法は周波数原理により、低周波数成分を多く含む関数を暗黙的に好むバイアスを持つため、希なデータの滑らかな補間が可能になる。
• 理論的分析により、DNNの最適化目的関数は、その適応的基底と勾配降下のダイナミクスの組み合わせにより、R-G法よりも滑らかな関数を優遇することが示された。
• 数値結果により、特に高次元または過パラメータ化された状況下で、DNNはR-G法よりも解の安定性と正則性に優れていることが確認された。