[論文レビュー] Algorithm-Dependent Generalization Bounds for Overparameterized Deep Residual Networks

Spencer Frei, Yuan Cao+1 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Neural Network Applications被引用数 11

ひとこと要約

この論文は、勾配降下法で訓練された過パラメータ化された深層残差ネットワークに対する、アルゴリズム依存の一般化バウンドを提供しており、勾配降下法が一般化性能が高く、小さな関数の部分集合に収束することを示している。主な結果は、深さに関して対数的過パラメータ化で十分であり、非残差ネットワークにおける多項式的要件とは異なり、一般化誤差が小さく保たれることである。

ABSTRACT

The skip-connections used in residual networks have become a standard architecture choice in deep learning due to the increased training stability and generalization performance with this architecture, although there has been limited theoretical understanding for this improvement. In this work, we analyze overparameterized deep residual networks trained by gradient descent following random initialization, and demonstrate that (i) the class of networks learned by gradient descent constitutes a small subset of the entire neural network function class, and (ii) this subclass of networks is sufficiently large to guarantee small training error. By showing (i) we are able to demonstrate that deep residual networks trained with gradient descent have a small generalization gap between training and test error, and together with (ii) this guarantees that the test error will be small. Our optimization and generalization guarantees require overparameterization that is only logarithmic in the depth of the network, while all known generalization bounds for deep non-residual networks have overparameterization requirements that are at least polynomial in the depth. This provides an explanation for why residual networks are preferable to non-residual ones.

研究の動機と目的

• 過パラメータ化の程度が同程度であるにもかかわらず、なぜ残差ネットワークが非残差ネットワークよりも一般化性能が優れているのかを理解すること。
• 深層学習におけるスキップ接続の成功の背後にある理論的理解の欠如を解消すること。
• 勾配降下法で訓練された過パラメータ化された残差ネットワークの最適化および一般化挙動を分析すること。
• 勾配降下法が、ネットワーク全体の容量から小さな、一般化性能の高い関数部分集合を選択することを示すこと。
• ネットワーク構造や重みではなく、訓練アルゴリズムに依存する一般化バウンドを提供すること。

提案手法

• ガウス初期化を伴う離散時間勾配降下法におけるネットワークパラメータの軌道を分析する。
• スペクトル的およびスパarsityに基づく議論を用いて、中間活性化および勾配のノルムをバウンドする。
• スパース部分空間上に1/4-および1/2-ネットを構築し、ランダム特徴マップの挙動を制御する。
• ホーフィングの不等式を用いて、残差接続におけるランダム特徴の和の逸脱をバウンドする。
• ネットの要素に対する和集合不等式を用いて、一般化誤差の高確率バウンドを導出する。
• スキップ接続の構造を活用し、学習された関数クラスが小さくかつ訓練データを十分にフィットできるほど表現力があることを示す。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化下で、なぜ残差ネットワークが非残差ネットワークよりも優れた一般化性能を達成するのか？
• RQ2 過パラメータ化された残差ネットワークにおいて、勾配降下法が実際に収束する関数クラスは何か？
• RQ3 ネットワーク構造ではなく、訓練アルゴリズムに依存する一般化バウンドを導出できるか？
• RQ4 ネットワークの深さは、残差ネットワークにおける一般化のための必要過パラメータ化にどのように影響するか？
• RQ5 ネットワーク活性化のスパarsityと残差ネットワークの一般化性能の関係は何か？

主な発見

• 過パラメータ化された残差ネットワークにおける勾配降下法は、一般化誤差が小さい小さな関数部分集合に収束する。これは、一般化ギャップが小さいことを説明する。
• 勾配降下法が学習する関数クラスは、十分に豊かであり、小さな訓練誤差を達成できる。
• 一般化誤差は、深さに関して対数的過パラメータ化でさえも、非残差ネットワークにおける多項式的要件とは異なり、小さく保たれる。
• 分析により、空虚でないアルゴリズム依存一般化バウンドが得られ、重みノルムに関する経験的仮定に依存しない。
• 理論的枠組みにより、残差ネットワークが少ないパラメータ数で低い訓練誤差とテスト誤差を達成する実用的成功を説明できる。
• バウンドはランダム行列理論およびネットベースの集中不等式を用いて導出され、スキップ接続が最適化経路を有利な関数部分集合に制限することを示している。