[論文レビュー] On the Convergence of Gradient Descent Training for Two-layer ReLU-networks in the Mean Field Regime

Stephan Wojtowytsch|arXiv (Cornell University)|May 27, 2020

Neural Networks and Applications参考文献 64被引用数 14

ひとこと要約

この論文は、平均場的条件下における2層ReLUネットワークの勾配降下法が最小ベイズリスクに収束するための必要十分条件を確立し、収束が初期化に依存せず、速度ポテンシャルの弱収束にのみ依存することを示している。主な結果は、速度ポテンシャルが局所的に一様にゼロに収束する場合に、極小解に収束することを特定しており、極限パラメータ分布の存在を仮定しない状況でも成り立つ。

ABSTRACT

We describe a necessary and sufficient condition for the convergence to minimum Bayes risk when training two-layer ReLU-networks by gradient descent in the mean field regime with omni-directional initial parameter distribution. This article extends recent results of Chizat and Bach to ReLU-activated networks and to the situation in which there are no parameters which exactly achieve MBR. The condition does not depend on the initalization of parameters and concerns only the weak convergence of the realization of the neural network, not its parameter distribution.

研究の動機と目的

• 非微分可能であるため、従来の理論ではカバーされないReLU活性化関数を用いた2層ネットワークへのChizatとBachの平均場収束結果の拡張。
• 極限パラメータ分布の存在を仮定せず、速度ポテンシャルの極限の一意性にのみ依存して最小ベイズリスクへの収束を確立すること。
• ReLU活性化の非微分性に対処するため、1次同次関数の積構造を活用すること。
• 初期化に依存しない収束条件を特定し、平均場極限におけるグローバル最小解への収束を保証すること。
• 収束を保証するためのMorse-Sard条件の役割を分析し、特定のBarron関数に対して次元d ≥ 8で失敗することを示すこと。

提案手法

• パラメータ分布が母集団リスク関数の2次 Wasserstein 勾配フローに従って変化する平均場近似を用いて2層ReLUネットワークをモデル化する。
• 速度ポテンシャルを、リスク関数をパラメータ分布に関して機能的微分したものとして定義する：$ \frac{\delta\mathcal{R}}{\delta\pi}(\pi_t; a,w,b) = \int (\partial_1\ell)(f_{\pi_t}(x),y) \, a\,\sigma(w^T x + b) \, \mathbb{P}(dx \otimes dy) $。
• ReLUが正の2次同次かつ分解可能な2つの1次同次成分に分解可能であることに着目し、勾配フローにおける非微分性の問題を回避する。
• 母集団リスクが最小値に収束することと、速度ポテンシャルがゼロに局所的に一様に収束することの同値性を証明することで、最小ベイズリスクへの収束を確立する。
• レベル集合の正則性を保証するため、データ分布に対する技術的Morse-Sard型条件を導入し、次元d=2では成立することを示すが、d ≥ 8では失敗する可能性があることを示す。
• コンパクト性と弱収束の議論を用いて、速度ポテンシャルが局所的に一様に収束するならば、母集団分布の収束を仮定しなくてもリスクが最小ベイズリスクに収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 2層ReLUネットワークの勾配降下法が平均場的条件下で最小ベイズリスクに収束する条件は何か？
• RQ2 極限パラメータ分布の存在を仮定しない状況でも、グローバル最小解への収束を保証できるか？
• RQ3 ReLU活性化の非微分性はWasserstein勾配フローの収束にどのように影響するか？ また、活性化関数の構造的性質によってこれを克服できるか？
• RQ4 Morse-Sard条件は収束を保証するために果たす役割は何か？ その有効性は入力次元にどのように依存するか？
• RQ5 速度ポテンシャルの収束は最小ベイズリスクへの収束を十分に保証するか？ また、これは初期化に依存するか？

主な発見

• Morse-Sard条件のもとでは、母集団リスク $ \mathcal{R}(\pi_t) $ が最小ベイズリスクに収束することは、速度ポテンシャル $ \frac{\delta\mathcal{R}}{\delta\pi}(\pi_t) $ が $ t \to \infty $ で局所的に一様にゼロに収束することと同値である。
• 収束条件は初期化に依存せず、速度ポテンシャルの弱収束の挙動にのみ依存する。
• 極限パラメータ分布が最小ベイズリスクを正確に達成しない場合でも、この結果は成り立ち、より現実的な設定への拡張を可能にする。
• 速度ポテンシャルの収束とリスク収束の同値性を保つにはMorse-Sard条件が必要であるが、速度ポテンシャルがゼロに収束する限り、条件がなくても同値性は成立する。
• 特定のBarron関数に対して、次元 $ d \geq 8 $ ではMorse-Sard性質が失敗することがあり、条件が常に成立するわけではないが、$ d=2 $ では成立する。
• もし $ \pi_t $ が2次 Wasserstein 距離で極限 $ \pi_\infty $ に収束し、かつ速度ポテンシャルがゼロに収束するならば、$ \pi_\infty $ はリスク関数 $ \mathcal{R} $ を最小化する。