[論文レビュー] Gradient Descent Provably Optimizes Over-parameterized Neural Networks

Simon S. Du, Xiyu Zhai+2 more|arXiv (Cornell University)|Oct 4, 2018

Stochastic Gradient Optimization Techniques参考文献 29被引用数 418

ひとこと要約

本論文は、過剰パラメータ化された二層 ReLU ネットワークに対して、ランダム初期化付きの勾配降下法がトレーニング損失をグローバルに最小化し、控えめな仮定の下で線形収束を達成することを証明する。

ABSTRACT

One of the mysteries in the success of neural networks is randomly initialized first order methods like gradient descent can achieve zero training loss even though the objective function is non-convex and non-smooth. This paper demystifies this surprising phenomenon for two-layer fully connected ReLU activated neural networks. For an $m$ hidden node shallow neural network with ReLU activation and $n$ training data, we show as long as $m$ is large enough and no two inputs are parallel, randomly initialized gradient descent converges to a globally optimal solution at a linear convergence rate for the quadratic loss function. Our analysis relies on the following observation: over-parameterization and random initialization jointly restrict every weight vector to be close to its initialization for all iterations, which allows us to exploit a strong convexity-like property to show that gradient descent converges at a global linear rate to the global optimum. We believe these insights are also useful in analyzing deep models and other first order methods.

研究の動機と目的

• ランダムに初期化された一階法（勾配法など）が、過剰パラメータ化されたReLUネットワークに対してなぜグローバル最小値を見つけるのかを解明する。
• 非凸・非滑感 Objective の下で、二層ネットワークに対する勾配降下法の厳密な収束解析を提供する。
• 過剰パラメータ化とランダム初期化により重みが初期値付近に保たれ、凸風な解析を可能にすることを示す。
• より深いモデルや他の一階法の解析へ洞察を拡張する。

提案手法

• モデル：f(W,a,x) = (1/√m) ∑_r a_r σ(w_r^T x) による二層全結合ReLUネットワーク。
• 第1層を勾配降下法で最適化し、第二層を固定した状態から、次に両層を同時に訓練する設定へ拡張する。
• H(t) を Gram 行列として導入し、エントリ H_ij(t) = (1/m) x_i^T x_j ∑_r I{w_r^T x_i ≥ 0, w_r^T x_j ≥ 0} と定義する。
• 予測 u_i(t) の進化を du/dt = H(t)(y−u) と示し、収束を H∞（ランダムウェイト下の初期化Gram行列）の固有値スペクトルと結びつける。
• 十分に大きな m で（2つの入力が平行でない場合）、λ_min(H(0)) ≥ (3/4)λ0 および ∥H(t)−H(0)∥2 ≤ O(1/√m) を証明する。
• ステップサイズ η = O(λ0/n^2) の離散時間勾配降下結果を提供し、線形収束を導く。

実験結果

リサーチクエスチョン

• RQ1 二層ReLUネットワークに対して、勾配降下法がゼロのトレーニング損失へ収束する条件は何か？
• RQ2 過剰パラメータ化とランダム初期化は、学習過程のダイナミクスにどのように影響するか？
• RQ3 学習ダイナミクスは安定したGram行列によって特徴づけられ、凸風の収束解析を可能にするか？
• RQ4 この解析は両方の層を同時訓練する場合に拡張可能か、それとも第一層のみか？
• RQ5 収束速度と線形収束を保証するために必要な幅 m は何か？

主な発見

• 勾配降下法は、m = Ω(n^6/λ0^4 δ^3) かつ任意の2入力が平行でない場合、線形速率でゼロのトレーニング損失へ収束する。
• 予測のダイナミクスは時変Gram行列H(t)によって支配され、過剰パラメータ化の下で初期化時のH∞に近いまま推移する。
• 高い確率で、入力が平行でなければH(0)の最小固有値は正であり、線形収束を可能にする。
• 勾配流では、学習中に初期値からの距離が有限に保たれ（重みは初期値に近い値を保つ）。
• 両方の層を同時訓練しても、同様の過剰パラメータ化条件の下で同じ線形収束を得る。
• 定常ステップサイズ η = O(λ0/n^2) の離散時間勾配降下法は、同じ線形収束速度を達成する。
• 解析は標準的な集中界と摂動理論に依存し、ガウス入力やラベル生成の仮定を必要としない。
• この枠組みは、より深いネットワークや他の一階法への一般化の可能性を示唆する。