[論文レビュー] Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks

Difan Zou, Yuan Cao+2 more|arXiv (Cornell University)|Nov 21, 2018

Stochastic Gradient Optimization Techniques参考文献 44被引用数 216

ひとこと要約

本論文は、ガウス分布によるランダム初期化と過parameterizationにより、深い ReLU ネットワークを用いた二値分類において、訓練損失のグローバルミニマムに、勾配降下法と確率的勾配降下法の両方が到達し得ることを示す。緩いデータ分離仮定の下で。

ABSTRACT

We study the problem of training deep neural networks with Rectified Linear Unit (ReLU) activation function using gradient descent and stochastic gradient descent. In particular, we study the binary classification problem and show that for a broad family of loss functions, with proper random weight initialization, both gradient descent and stochastic gradient descent can find the global minima of the training loss for an over-parameterized deep ReLU network, under mild assumption on the training data. The key idea of our proof is that Gaussian random initialization followed by (stochastic) gradient descent produces a sequence of iterates that stay inside a small perturbation region centering around the initial weights, in which the empirical loss function of deep ReLU networks enjoys nice local curvature properties that ensure the global convergence of (stochastic) gradient descent. Our theoretical results shed light on understanding the optimization for deep learning, and pave the way for studying the optimization dynamics of training modern deep neural networks.

研究の動機と目的

• 深い ReLU ネットワークを最適化の観点から訓練がなぜ成功するのかを理解する動機付け。
• 過parameterizationとランダム初期化が勾配法を用いて深層ネットワークのグローバルミニマムへ到達可能にすることを示す。
• 訓練データの広い損失族に対して、GDとSGDの収束保証を提供する。
• 実用的なデータ分離条件を採用することで、以前の強いデータ仮定を緩和する。

提案手法

• ガウス初期化を用いたL層の全結合ReLUネットワークをモデル化する。
• 緩い滑らかさと成長条件を満たす広い損失族の下で訓練ダイナミクスを分析する。
• 初期化付近の小さな摂動領域にとどまり、局所曲率が有利であることを示す。
• 分析を確率的勾配降下法に拡張し、訓練誤差をゼロに収束させる条件を導く。
• ネットワークの幅とデータパラメータが収束にどのように影響するかを多項式的依存として特徴づける。

実験結果

リサーチクエスチョン

• RQ1 過parameterizationとガウス初期化の組み合わせは、分類タスクにおける深いReLUネットワークのGD/SGDのグローバル収束を保証するか？
• RQ2 緩いデータ分離仮定の下で、ゼロ訓練誤差を保証するために必要なネットワークの幅と反復回数はどれくらいか？
• RQ3 広いクラス内の損失関数の選択は収束保証にどのように影響するか？
• RQ4 提案された枠組みの下で、GDとSGDは収束保証と必要資源の点でどう比較されるか？

主な発見

• 過parameterized deep ReLUネットワークに対して、勾配降下法と確率的勾配降下法の両方が訓練損失のグローバルミニマムを達成できる。
• 収束は、緩やかなデータ分離仮定の下で広い損失ファミリに対して成り立つ。
• 必要な幅（各隠れ層のノード数）と反復回数は、サンプルサイズやデータ分離などの問題パラメータの多項式的な依存関係で表される。
• SGDはGDと同様の保証でゼロ訓練誤差を達成できるが、幅/反復の大きな要因を要する場合がある。
• 分析は、ガウス初期化の周りの摂動領域内にとどまり、ネットワークが有利な局所曲率を示すという前提に依存する。