[論文レビュー] Refined Generalization Analysis of Gradient Descent for Over-parameterized Two-layer Neural Networks with Smooth Activations on Classification Problems.

Atsushi Nitanda, Taiji Suzuki|arXiv (Cornell University)|May 23, 2019

Neural Networks and Applications被引用数 9

ひとこと要約

本稿では、平滑な活性化関数を用いた過パラメータ化された2層ニューラルネットワークにおけるバイナリ分類タスクの勾配降下法の洗練された一般化解析を提示する。より自然な仮定である『接線モデルによる完全な分類可能性』を導入することで、先行研究と比較してはるかに良好な幅依存性を達成する一般化境界を著しく改善した。これにより、理論的に一般化可能な過パラメータ化されたネットワークのクラスが拡張された。

ABSTRACT

Recently, several studies have proven the global convergence and generalization abilities of the gradient descent method for two-layer ReLU networks by making a positivity assumption of the Gram-matrix of the neural tangent kernel. However, the performance of gradient descent on classification problems has not been well studied, and further investigation of the problem structure is possible. In this work, we present a partially stronger but reasonable assumption for binary classification problems compared to the positivity assumption of the Gram-matrix, where a data distribution can be perfectly classifiable by a tangent model, and we provide a refined generalization analysis of the gradient descent method for two-layer networks with smooth activations. A remarkable point of this study is that our generalization bound has much better dependence on the network width compared to existing results. As a result, our theory significantly enlarges a class of over-parameterized networks having provable generalization ability, with respect to network width, while most studies require much higher over-parameterization.

研究の動機と目的

• 過パラメータ化された2層ネットワークにおける分類問題に対する勾配降下法の一般化性能に関する理論的理解のギャップを埋めること。
• ニューラル接線カーネルのグラム行列に対する制限的な正定性仮定を、バイナリ分類に対してより自然で現実的である仮定に置き換えること。
• 既存の結果と比較して、ネットワーク幅に著しく改善された依存性を有する一般化境界を導出すること。
• 過パラメータ化されたネットワークの理論的一般化可能性のクラスを拡張し、必要な過パラメータ化のスケールを低減すること。

提案手法

• ニューラルネットワークの接線モデルがデータ分布を完全に分類可能であるという、新たな仮定を導入する。これはニューラル接線カーネルのグラム行列の正定性仮定よりも弱く、より現実的である。
• この新しい仮定の下で、平滑な活性化関数を有する2層ネットワークにおける勾配降下のダイナミクスを分析する。
• 統計的学習理論の技術を用いて一般化境界を導出し、ネットワーク幅と一般化誤差の間の相互作用に焦点を当てる。
• ニューラル接線カーネルおよびその関連する接線モデルの洗練された分析を用いて、よりタイトな一般化保証を確立する。
• 一般化誤差がネットワーク幅に伴い、先行研究と比較して著しく改善されたレートで減少することを示す。
• 活性化関数の滑らかさを活用して、過パラメータ化領域における勾配フローおよび一般化誤差をより厳密に制御する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された2層ネットワークの分類における一般化を解析するにあたり、グラム行列の正定性仮定よりも自然な仮定を用いることは可能か？
• RQ2 現実的なデータ分離可能性仮定の下で、勾配降下の一般化誤差はネットワーク幅にどのように依存するか？
• RQ3 従来の理論的結果と比較して、理論的一般化に必要な過パラメータ化の水準を著しく低減できるか？
• RQ4 滑らかな活性化関数は、この設定における勾配降下の一般化性能にどのような影響を与えるか？
• RQ5 接線モデルがデータ分布を完全に分類可能であるという性質は、より強力な一般化保証をもたらすか？

主な発見

• 本稿で提案する仮定である『接線モデルによる完全な分類可能性』は、ニューラル接線カーネルのグラム行列の正定性仮定よりも自然で、かつより弱い条件である。
• 本稿で得られた一般化境界は、既存の結果と比較して、ネットワーク幅に著しく改善された依存性を示している。
• 理論的に、これまでに知られていたよりも広い範囲の過パラメータ化された2層ネットワークに対して一般化が保証されている。
• 一般化に必要な過パラメータ化のスケールは、従来の研究と比較して顕著に低減されており、多くの場合、はるかに高い幅スケーリングが要求されていた。
• 解析は平滑な活性化関数に適用可能であり、ReLUネットワークに限らない理論的理解の拡張を実現した。
• 洗練された解析により、現実的なデータ仮定のもとで、中程度の過パラメータ化でも勾配降下が良好な一般化を達成することが示された。