[論文レビュー] Convergence of gradient descent for deep neural networks

Sourav Chatterjee|arXiv (Cornell University)|Mar 30, 2022

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

この論文は、非凸最適化における勾配降下法の新しい収束基準を確立し、適切な初期化のもとで、入力次元がデータポイント数に等しいかそれより大きい場合、滑らかで厳密に増加する活性化関数を備えた深層ニューラルネットワークにおいて、勾配降下法がグローバル最小値に収束することを証明している。主な貢献は、ネットワーク幅がデータサイズに応じて増大する必要がないことであり、これにより、ややきつい条件下でも固定幅のネットワークに対して収束が可能になる。

ABSTRACT

We give a simple local Polyak-Lojasiewicz (PL) criterion that guarantees linear (exponential) convergence of gradient flow and gradient descent to a zero-loss solution of a nonnegative objective. We then verify this criterion for the squared training loss of a feedforward neural network with smooth, strictly increasing activation functions, in a regime that is complementary to the usual over-parameterized analyses: the network width and depth are fixed, while the input data vectors are assumed to be linearly independent (in particular, the ambient input dimension is at least the number of data points). A notable feature of the verification is that it is constructive: it leads to a simple "positive" initialization (zero first-layer weights, strictly positive hidden-layer weights, and sufficiently large output-layer weights) under which gradient descent provably converges to an interpolating global minimizer of the training loss. We also discuss a probabilistic corollary for random initializations, clarify its dependence on the probability of the required initialization event, and provide numerical experiments showing that this theory-guided initialization can substantially accelerate optimization relative to standard random initializations at the same width.

研究の動機と目的

• 非凸最適化における勾配降下法の一般化された収束基準を確立し、グローバル最小値への収束を保証すること。
• 非凸性があるにもかかわらず勾配降下法がしばしばグローバル最小値に到達する理由の理解のギャップを埋めること。
• ネットワーク幅がデータサイズに応じて増大するのではなく、固定である場合でも収束が可能であることを示すこと。
• 小さなステップサイズを用いた勾配降下法が、初期化の近傍の局所的な球内ですべてのグローバル最小値に指数関数的に速やかに収束する条件を提供すること。
• 滑らかで厳密に増加する活性化関数を備えた任意の深さの深層ニューラルネットワークへの解析を拡張すること。

提案手法

• 勾配ノルムの二乗と関数値の比に基づく新しい収束基準を導入し、$ \alpha(x_0,r) = \inf_{x \in B(x_0,r), f(x) \neq 0} \frac{|\nabla f(x)|^2}{f(x)} $ と定義する。$ f \equiv 0 $ のとき $ \alpha = \infty $ と定める。
• もし $ 4f(x_0) < r^2 \alpha(x_0,r) $ が成り立つならば、勾配フローは $ B(x_0,r) $ 内で指数関数的に速やかにグローバル最小値に収束し、$ |\phi(t) - x^*| \leq r e^{-\alpha t/2} $ および $ f(\phi(t)) \leq e^{-\alpha t} f(x_0) $ という境界が得られる。
• 小さなステップサイズ $ \eta $ を用いた勾配降下法に対しても同様の結果を証明し、グローバル最小値への収束が線形収束レートで達成されることを示す：$ |x_k - x^*| \leq (1 - \delta)^{k/2} r $、$ f(x_k) \leq (1 - \delta)^k f(x_0) $、ここで $ \delta = \min\{1, (1 - \epsilon)\alpha\eta\} $。
• 訓練損失 $ S(w) $ の分析を通じて、この基準を深層ニューラルネットワークに適用し、適切な初期化（例えば、i.i.d. ガウス分布の重み）のもとで、基準 $ 4S(w) < \frac{\delta^2}{4} \inf_{w' \in B(w,\delta/2)} \frac{|\nabla S(w')|^2}{S(w')} $ が正の確率で成り立つことを示す。
• 確率的議論を用いて、入力次元 $ d \geq \text{ある定数} $ のとき、初期化が収束基準を満たす確率が高く、連続性と条件を満たす確率が正であることから、すべての $ d $ に拡張できることを示す。
• 重み関数 $ S(w) $ 及び活性化関数の導関数の境界（一様に下からおよび上から有界）を活用し、勾配対損失比を制御し、基準が満たされることを保証する。

実験結果

リサーチクエスチョン

• RQ1 非凸な深層学習問題において、ネットワーク幅を増大させない限り、勾配降下法がグローバル最小値に収束する条件は何か？
• RQ2 データおよび活性化関数に関するややきつい仮定のもとで、固定幅の深層ニューラルネットワークにおいて勾配降下法がグローバル最小値に収束することは保証できるか？
• RQ3 勾配ノルムの二乗を関数値で割った比 $ |\nabla f|^2 / f $ に基づく提案された収束基準は、Kurdyka–Łojasiewicz 不等式のような既存のツールとどのように異なり、あるいは強化するか？
• RQ4 初期化が、局所的最小値を避けてグローバルに収束する勾配降下法を保証するために果たす役割は何か？
• RQ5 入力次元がデータポイント数に等しいかそれより大きいとき、深層ネットワークにおいて、正の確率で収束基準が満たされるか？

主な発見

• 滑らかで厳密に増加する活性化関数を備えた深層ニューラルネットワークにおいて、小さなステップサイズの勾配降下法は、入力次元がデータポイント数に等しいかそれより大きい場合、訓練損失のグローバル最小値に収束する。
• 連続時間（勾配フロー）では指数関数的収束が、離散時間（勾配降下法）では線形収束が実現され、収束レートの明示的境界が得られる。
• ネットワーク幅はデータポイント数に依存せず固定に保てることから、従来の幅がデータサイズに応じて増大する必要があるという結果とは対照的である。
• 入力次元 $ d $ が十分に大きいとき、i.i.d. $ \mathcal{N}(0, c/d) $ 重みを用いた確率的初期化は、収束基準を満たす確率が高く、満たす。
• すべての入力次元 $ d $ に対して、初期化が収束基準を満たす確率が正であることが保証され、勾配降下法がグローバル最小値にほとんど確実に収束することが示される。
• 解析により、指定された初期化のもとで、訓練損失 $ S(w) $ が正の確率で $ 4S(w) < \frac{\delta^2}{4} \inf_{w' \in B(w,\delta/2)} \frac{|\nabla S(w')|^2}{S(w')} $ という重要な不等式を満たすことが示され、収束が可能になる。