[論文レビュー] On the Margin Theory of Feedforward Neural Networks

Colin Wei, Jason D. Lee+2 more|arXiv (Cornell University)|Sep 27, 2018

Model Reduction and Neural Networks参考文献 12被引用数 51

ひとこと要約

この論文は、弱い正則化を施した交差エントロピー損失を用いた過パラメータ化されたReLU前向きネットワークが、グローバルミニマライザーで最大の正規化マージンを達成することを確立し、一般化の向上をマージン最大化によって説明している。無限幅の2層ネットワークが最適な一般化境界に達し、自然な状況下でカーネル法を上回ることを示し、無限ネットワークにおける摂動付き勾配フローの多項式時間収束を証明している。

ABSTRACT

Past works have shown that, somewhat surprisingly, over-parametrization can help generalization in neural networks. Towards explaining this phenomenon, we adopt a margin-based perspective. We establish: 1) for multi-layer feedforward relu networks, the global minimizer of a weakly-regularized cross-entropy loss has the maximum normalized margin among all networks, 2) as a result, increasing the over-parametrization improves the normalized margin and generalization error bounds for two-layer networks. In particular, an infinite-size neural network enjoys the best generalization guarantees. The typical infinite feature methods are kernel methods; we compare the neural net margin with that of kernel methods and construct natural instances where kernel methods have much weaker generalization guarantees. We validate this gap between the two approaches empirically. Finally, this infinite-neuron viewpoint is also fruitful for analyzing optimization. We show that a perturbed gradient flow on infinite-size networks finds a global optimizer in polynomial time.

研究の動機と目的

• 過パラメータ化が深層ニューラルネットワークの一般化をどのように向上させるかを説明すること。
• ReLUネットワークにおける弱い正則化付き交差エントロピー損失のグローバルミニマライザーが、最大の正規化マージンを達成することを確立すること。
• 無限幅ニューラルネットワークとカーネル法の一般化性能を比較すること。
• 無限幅ネットワークにおける最適化ダイナミクスを摂動付き勾配フローを用いて分析すること。

提案手法

• 弱い正則化付き交差エントロピー損失の下で多層ReLUネットワークを分析し、マージン最大化の性質を導出する。
• 損失関数のグローバルミニマライザーが、すべてのネットワークの中で最大の正規化マージンに対応することを導出する。
• 特定のデータ分布において、無限幅ニューラルネットワークの正規化マージンとカーネル法の正規化マージンを比較する。
• 自然な状況下でニューラルネットワークとカーネル法の一般化ギャップを実験的に検証する。
• 無限幅ネットワークにおける摂動付き勾配フロー動的を導入し、最適化収束を分析する。
• 摂動付き勾配フローが無限ネットワーク上で多項式時間でグローバル最適化子に収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化がReLUネットワークの正規化マージンを最大化することで一般化を向上させるのか？
• RQ2 無限幅2層ネットワークは、有限幅ネットワークと比較して最良の一般化保証を達成できるか？
• RQ3 自然なデータ設定下で、無限幅ニューラルネットワークの正規化マージンはカーネル法と比べてどうか？
• RQ4 無限幅ネットワークにおける摂動付き勾配フローは多項式時間でグローバル最適化子に収束できるか？

主な発見

• 弱い正則化付き交差エントロピー損失のグローバルミニマライザーは、多層ReLUネットワークにおいて、すべてのネットワークの中で最大の正規化マージンを達成する。
• 過パラメータ化を増加させることで、2層ネットワークにおける正規化マージンと一般化誤差の境界が向上する。
• 無限幅2層ネットワークは最良の一般化保証を達成し、自然な状況下でカーネル法を上回る。
• 実験結果により、構築された自然な例においてニューラルネットワークとカーネル法の間で顕著な一般化ギャップが確認された。
• 無限幅ネットワークにおける摂動付き勾配フローは多項式時間でグローバル最適化子に収束する。
• マージンに基づく分析は、深層学習における過パラメータ化の一般化利点の理論的基盤を提供する。