[論文レビュー] Convergence of SGD in Learning ReLU Models with Separable Data.

Tengyu Xu, Yi Zhou+2 more|arXiv (Cornell University)|Jun 12, 2018

Stochastic Gradient Optimization Techniques参考文献 14被引用数 8

ひとこと要約

この論文は、線形分離可能なデータに対する二値分類のためのReLUモデルを学習する際の確率的勾配降下法（SGD）の暗黙的バイアスを調査する。SGDが期待値においてグローバルまたはローカルのマックスマージン方向に収束することを示し、定常状態の下では、学習されたマルチニューロン分類器が各サンプルパターンパーティションごとにマージンを最大化することを明らかにした。非凸性や偽の局所最小値が存在する中でも、マージン最大化への強い暗黙的バイアスが示された。

ABSTRACT

We study the implicit bias of gradient descent methods in solving a binary classification problem over a linearly separable dataset. The classifier is described by a nonlinear ReLU model and the objective function adopts the exponential loss function. We first characterize the landscape of the loss function and show that there can exist spurious asymptotic local minima besides asymptotic global minima. We then show that gradient descent (GD) can converge to either a global or a local max-margin direction, or may diverge from the desired max-margin direction in a general context. For stochastic gradient descent (SGD), we show that it converges in expectation to either the global or the local max-margin direction if SGD converges. We further explore the implicit bias of these algorithms in learning a multi-neuron network under certain stationary conditions, and show that the learned classifier maximizes the margins of each sample pattern partition under the ReLU activation.

研究の動機と目的

• 線形分離可能なデータを用いてReLUモデルを学習する勾配降下法の暗黙的バイアスを理解すること。
• ReLUモデルにおける指数損失を用いた損失関数の形状を分析し、偽の漸近的局所最小値の存在を特定すること。
• 最大マージン方向の観点から、勾配降下法（GD）および確率的勾配降下法（SGD）の収束行動を特徴づけること。
• 定常状態の下で、マルチニューロンネットワークへの暗黙的バイアスの拡張を調査すること。
• マルチニューロンReLUネットワークにおいて、学習された分類器が各サンプルパターンパーティションごとにマージンを最大化することを確立すること。

提案手法

• 線形分離可能なデータに対するReLUモデルの損失関数の形状を分析し、グローバル最小値と偽の漸近的局所最小値の両方を特定する。
• 理論的分析を用いて、GDがグローバルまたはローカルのマックスマージン方向に収束するか、最適な方向から逸脱する可能性があることを示す。
• SGDに収束解析を適用し、収束する場合、期待値においてグローバルまたはローカルのマックスマージン方向に収束することを証明する。
• マルチニューロンReLUネットワークにおける暗黙的バイアスを研究するための定常条件を導入する。
• これらの条件下で、分類器が各サンプルパターンパーティションのマージンを暗黙的に最大化することを導出する。
• 非凸かつ非滑らかである設定における収束およびバイアス行動を形式化するために、最適化理論およびマージン解析のツールを用いる。

実験結果

リサーチクエスチョン

• RQ1 ReLUモデルを線形分離可能なデータで学習する勾配降下法は、マックスマージン方向に収束できるか、それとも偽の局所最小値に閉じ込められる可能性があるか？
• RQ2 確率的勾配降下法が期待値においてマックスマージン解に収束する条件は何か？
• RQ3 非凸なReLUモデルと指数損失を用いる場合、SGDの暗黙的バイアスはGDのそれとどのように異なるか？
• RQ4 定常条件がマルチニューロンReLUネットワークの暗黙的バイアスに果たす役割は何か？
• RQ5 マルチニューロンReLUモデルにおける学習済み分類器は、各サンプルパターンパーティションごとにマージンを最大化するか？

主な発見

• ReLUモデルにおける指数損失の損失関数は、グローバル最小値に加えて、偽の漸近的局所最小値を有する可能性がある。
• 勾配降下法は、グローバルまたはローカルのマックスマージン方向に収束する可能性があるが、望ましいマックスマージン方向から逸脱する可能性もある。
• 収束する場合、確率的勾配降下法は期待値においてグローバルまたはローカルのマックスマージン方向に収束する。
• 定常状態の下では、マルチニューロンネットワークにおいて暗黙的バイアスが各サンプルパターンパーティションのマージン最大化をもたらす。
• 非凸性や偽の最小値が存在する中でも、ReLUモデルにおけるSGDとGDの暗黙的バイアスは、マックスマージン解を好む。
• 理論的分析により、収束行動がデータのマージン構造と最適化経路に根本的に関連していることが確認された。