[論文レビュー] Polylogarithmic width suffices for gradient descent to achieve arbitrarily small test error with shallow ReLU networks

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|Apr 30, 2020

Stochastic Gradient Optimization Techniques参考文献 23被引用数 59

ひとこと要約

この論文は、多項対数的幅（具体的には、n, 1/ε, 1/δ の多項対数関数を上回る幅）を持つ2層ReLUネットワークに対して勾配降下法を適用した場合、訓練例が Ω(1/ε²) 以上ある限り、O(1/ε) ステップでテスト誤差 ε を任意に小さくできると示している。主な貢献は、このような幅が、極限カーネルのマージン性質のおかげで、ランダムラベルが存在する状況でも一般化を可能にするという点である。

ABSTRACT

Recent work has revealed that overparameterized networks trained by gradient descent achieve arbitrarily low training error, and sometimes even low test error. The required width, however, is always polynomial in at least one of the sample size n, the (inverse) training error 1/epsilon, and the (inverse) failure probability 1/delta. This work shows that O(1/epsilon) iterations of gradient descent on two-layer networks of any width exceeding polylog(n, 1/epsilon, 1/delta) and Omega(1/epsilon^2) training examples suffices to achieve a test error of epsilon. The analysis further relies upon a margin property of the limiting kernel, which is guaranteed positive, and can distinguish between true labels and random labels.

研究の動機と目的

• 過パラメータ化されたネットワークが実際の低訓練誤差を達成できるのに対し、低テスト誤差を達成できるかのギャップを埋める。
• 多項式的幅ではなく、多項対数的幅のネットワークが勾配降下法においても良好に一般化できるかどうかを特定すること。
• 極限カーネルのマージン性質が真のラベルとランダムラベルをどのように区別するかを分析すること。
• O(1/ε) ステップでテスト誤差 ε を達成するのに十分な最小幅要件を確立すること。

提案手法

• n, 1/ε, 1/δ に対して多項対数的幅の範囲で、2層ReLUネットワークにおける勾配降下法のダイナミクスを分析する。
• 極限カーネルにおけるマージン性質を用い、これが真のラベルとランダムラベルを分離可能であることを示す。
• 反復的最適化解析を用いて、O(1/ε) ステップで低テスト誤差に収束することを示す。
• ネットワークの幅と、ラベルノイズ下でもマージンを維持できるカーネルの能力を結びつけることで、一般化保証を確立する。
• ニューラル接線カーネル（NTK）領域における理論的解析に依拠し、一般化境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 多項対数的幅の浅いReLUネットワークにおける勾配降下法が、任意に小さなテスト誤差を達成できるか？
• RQ2 多項式スケーリングを越えて、勾配降下法における一般化に必要な最小ネットワーク幅は何か？
• RQ3 極限カーネルのマージン性質が過パラメータ化されたネットワークにおける一般化にどのように影響するか？
• RQ4 カーネルがマージンを維持する限り、ラベルがランダムであってもネットワークは一般化できるか？

主な発見

• 多項対数的幅のネットワーク—具体的には、polylog(n, 1/ε, 1/δ) を超える幅—は、勾配降下法によりテスト誤差 ε を達成するのに十分である。
• Ω(1/ε²) 個の訓練例がある限り、O(1/ε) ステップの勾配降下法でテスト誤差 ε を達成できる。
• 極限カーネルは真のラベルとランダムラベルを区別できる正のマージン性質を示す。
• 過パラメータ化によるものではなく、カーネルのマージンのおかげで、ラベルノイズ下でも一般化が達成される。