[論文レビュー] SGD Learns Over-parameterized Networks that Provably Generalize on Linearly Separable Data

Alon Brutzkus, Amir Globerson+2 more|arXiv (Cornell University)|Oct 27, 2017

Neural Networks and Applications参考文献 22被引用数 37

ひとこと要約

この論文は、過パラメータ化された2層ニューラルネットワークにLeaky ReLU活性化関数を適用した場合、高容量であるにもかかわらず線形分離可能なデータに対して一般化性能が良好に得られることを証明している。SGDはグローバルミニマに収束し、ネットワークサイズに依存しない一般化境界を確立しており、過パラメータ化にもかかわらず過学習を回避するSGDのインダクティブバイアスが示されている。

ABSTRACT

Neural networks exhibit good generalization behavior in the over-parameterized regime, where the number of network parameters exceeds the number of observations. Nonetheless, current generalization bounds for neural networks fail to explain this phenomenon. In an attempt to bridge this gap, we study the problem of learning a two-layer over-parameterized neural network, when the data is generated by a linearly separable function. In the case where the network has Leaky ReLU activations, we provide both optimization and generalization guarantees for over-parameterized networks. Specifically, we prove convergence rates of SGD to a global minimum and provide generalization guarantees for this global minimum that are independent of the network size. Therefore, our result clearly shows that the use of SGD for optimization both finds a global minimum, and avoids overfitting despite the high capacity of the model. This is the first theoretical demonstration that SGD can avoid overfitting, when learning over-specified neural network classifiers.

研究の動機と目的

• 過パラメータ化されたニューラルネットワークにおいてSGDがなぜ良好に一般化するのかを説明すること。
• 過パラメータ化された設定における一般化の経験的成果と理論的理解のギャップを埋めること。
• SGDで訓練された過パラメータ化ネットワークに対して、証明可能な一般化および最適化保証を提供すること。
• ネットワークがデータを記憶できるほど豊富であってもSGDが過学習を回避することを示すこと。
• 線形分離可能なデータとLeaky ReLU活性化関数の文脈におけるSGDのインダクティブバイアスを分析すること。

提案手法

• 研究は、Leaky ReLU活性化関数を用いた2層の過パラメータ化されたニューラルネットワークを分析し、2番目の層の重みを固定した v = (1,…,1,−1,…,−1) とする。
• i.i.d. な線形分離可能なデータ上で、経験的ハッチ損失を最適化するために確率的勾配降下法（SGD）を用いる。
• データおよび初期化に関する弱い仮定の下で、SGDがグローバルミニマに収束するレートを証明する。
• ネットワーク幅に依存しない一般化境界を確立し、過パラメータ化に対するロバストネスを示す。
• 理論的証明は、局所的ミニマの構築と、ネットワーク幅および初期化に応じたSGDが非グローバルミニマとグローバルミニマに収束する確率の分析に基づいている。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたニューラルネットワークにおいて、線形分離可能なデータに対してSGDは過学習を回避できるか？
• RQ2 SGDの最適化プロセスは、低複雑度の解を好むインダクティブバイアスを誘発するか？
• RQ3 SGDがグローバルミニマに収束するのを保証する条件は何か？
• RQ4 ネットワーク幅は、グローバルミニマと非グローバルミニマに収束する確率にどのように影響するか？
• RQ5 過パラメータ化された設定において、ネットワークサイズに依存しない一般化境界を導出できるか？

主な発見

• Leaky ReLU活性化関数を用いた過パラメータ化ネットワークは、線形分離可能なデータに対してSGDがグローバルミニマに収束する。
• 一般化誤差境界はネットワーク幅に依存せず、過パラメータ化に対するロバストネスを示している。
• 十分に広いネットワーク（k ≥ log₂(2d/δ)）では、SGDは高確率（≥1−δ）でグローバルミニマに収束する。
• 狭いネットワーク（k ≤ log₂(d/−ln(δ)))）では、SGDは高確率で非グローバルミニマに収束する可能性がある。
• 損失関数には任意に悪い局所的ミニマが存在するが、ネットワークが十分に広い場合、SGDはそれらを回避する。これはインダクティブバイアスを示している。