[論文レビュー] Overparameterization of deep ResNet: zero loss and mean-field analysis

Zhiyan Ding, Shi Chen+2 more|arXiv (Cornell University)|May 30, 2021

Stochastic Gradient Optimization Techniques参考文献 43被引用数 8

ひとこと要約

この論文は、連続的および平均場極限のアプローチを用いて、過パラメータ化された深層Residual Network（ResNet）を研究し、大規模な幅と無限の深さの範囲で勾配降下法がゼロ損失解に収束することを示している。平均場極限においてPDEに基づく勾配フローを導出し、著者らは解がグローバルミニマイザーに収束することを証明しており、高い確率で近似的にゼロ損失に達するための深さと幅の明示的な境界を提示している。

ABSTRACT

Finding parameters in a deep neural network (NN) that fit training data is a nonconvex optimization problem, but a basic first-order optimization method (gradient descent) finds a global optimizer with perfect fit (zero-loss) in many practical situations. We examine this phenomenon for the case of Residual Neural Networks (ResNet) with smooth activation functions in a limiting regime in which both the number of layers (depth) and the number of weights in each layer (width) go to infinity. First, we use a mean-field-limit argument to prove that the gradient descent for parameter training becomes a gradient flow for a probability distribution that is characterized by a partial differential equation (PDE) in the large-NN limit. Next, we show that under certain assumptions, the solution to the PDE converges in the training time to a zero-loss solution. Together, these results suggest that the training of the ResNet gives a near-zero loss if the ResNet is large enough. We give estimates of the depth and width needed to reduce the loss below a given threshold, with high probability.

研究の動機と目的

• 非凸性にもかかわらず、過パラメータ化されたResNetにおける勾配降下法がなぜゼロまたは近似的にゼロの訓練損失に到達するのかを説明すること。
• 連続的および平均場近似を用いて、無限の深さと幅の極限における深層ResNetの訓練ダイナミクスを分析すること。
• 平均場極限における勾配フローがグローバルミニマイザーに収束することを確立し、大規模な有限ネットワークにおいて近似的にゼロ損失が得られることを示すこと。
• 与えられたしきい値未満の損失にまで損失を低下させるために必要なネットワークの深さと幅の明示的な定量的推定値を提供すること。

提案手法

• 層数 $ L \to \infty $ の極限をとることで連続的極限を導出し、ResNetをパラメータ構成を符号化する力項を有するODEに変換する。
• 幅 $ M \to \infty $ の平均場極限を適用し、ODEを確率分布に置き換えた通常積分方程式（OIE）に変換する。
• 有限パラメータにおける勾配降下法を、大規模ネットワーク極限における確率分布上の勾配フローに翻訳する。
• PDE解析、特に定常状態平衡解析を用いて、ある仮定の下でPDE解がゼロ損失状態に収束することを示す。
• 制限された状態におけるODEおよびPDEの定式化の適切な定義（well-posedness）を確立する。
• 与えられたしきい値未満の損失にまで損失を低下させるために必要な深さ $ L $ と幅 $ M $ の定量的推定値を提供する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたResNetにおける勾配降下法がどのような条件下でゼロ損失解に収束するか。
• RQ2 無限の深さと幅の極限におけるResNetの訓練ダイナミクスはどのように振る舞うか。
• RQ3 ResNetの平均場極限はPDEで記述可能であり、その解はグローバルミニマイザーに収束するか。
• RQ4 高い確率で近似的にゼロ損失を達成するために必要な深さと幅の明示的な境界は何か。
• RQ5 連続的および平均場極限プロセスは、離散的勾配降下法を確率測度上の連続的勾配フローにどのように変換するか。

主な発見

• 平均場極限から導かれたPDEは、適切な仮定の下でゼロ損失解に収束し、大規模ネットワーク極限における勾配降下法がグローバルミニマイザーに到達することを示している。
• 無限の深さと無限の幅の極限において、解の収束が保証され、PDEの解は長時間の極限でゼロコストに達する。
• 有限だが大きなネットワークでは、深さ $ L $ と幅 $ M $ が十分に大きい限り、損失は任意の与えられたしきい値未満にまで低下する可能性が非常に高い。
• 期待されるしきい値と信頼水準に応じて、近似的にゼロ損失に達するための必要な $ L $ と $ M $ の明示的な定量的境界が導出された。
• 極限における勾配フローは適切に定義されており、定常状態平衡解析を用いてPDE解のグローバルミニマイザーへの収束が厳密に裏付けられている。
• 解析により、有限ネットワークにおける勾配降下の軌道がPDEフローをうまく近似することが示され、ゼロ損失に到達する実験的成果の背後にある理由が説明された。