[論文レビュー] Theory IIIb: Generalization in Deep Networks

Tomaso Poggio, Qianli Liao+4 more|arXiv (Cornell University)|Jun 29, 2018

Neural Networks and Applications参考文献 4被引用数 14

ひとこと要約

この論文は、勾配降下法が指数型損失（例：交差エントロピー）に対して適用される場合、明示的な正則化がなくても、各層において最小ノルム解への暗黙的正則化を引き起こすことを証明することで、深層ニューラルネットワークにおける「過学習なし」のパズルを解消する。主な結果は、分離可能な場合に深層ネットワークが最大マージンに類似した解に収束することであり、過パラメータ化や大容量にもかかわらず一般化が成立する理由を説明する。

ABSTRACT

A main puzzle of deep neural networks (DNNs) revolves around the apparent absence of "overfitting", defined in this paper as follows: the expected error does not get worse when increasing the number of neurons or of iterations of gradient descent. This is surprising because of the large capacity demonstrated by DNNs to fit randomly labeled data and the absence of explicit regularization. Recent results by Srebro et al. provide a satisfying solution of the puzzle for linear networks used in binary classification. They prove that minimization of loss functions such as the logistic, the cross-entropy and the exp-loss yields asymptotic, "slow" convergence to the maximum margin solution for linearly separable datasets, independently of the initial conditions. Here we prove a similar result for nonlinear multilayer DNNs near zero minima of the empirical loss. The result holds for exponential-type losses but not for the square loss. In particular, we prove that the weight matrix at each layer of a deep network converges to a minimum norm solution up to a scale factor (in the separable case). Our analysis of the dynamical system corresponding to gradient descent of a multilayer network suggests a simple criterion for ranking the generalization performance of different zero minimizers of the empirical loss.

研究の動機と目的

• 高容量であり、明示的な正則化が欠如しているにもかかわらず、深層ニューラルネットワークがなぜうまく一般化するのかという長年のパズルを解明すること。
• 線形ネットワークにおける暗黙的正則化の理論的理解を、非線形な深層ネットワークへと拡張すること。
• 指数型損失で訓練される深層ネットワークにおける勾配降下法の収束挙動を特徴づけること。
• 経験的リスクの異なるゼロミニマライザーの一般化性能を理論的基準で順位付けするための基準を提供すること。

提案手法

• ReLU活性化関数と指数型損失（例：交差エントロピー）を有する深層ネットワークの連続時間勾配フローのダイナミクスを分析する。
• ReLUの正homogeneity（正同次性）を用いて重み行列をノルムと方向成分に分解し、スケールを除いて最小ノルム解への収束を示す。
• 力学系理論を適用して、分離可能な場合に勾配降下法が各層で最小フロベニウスノルムを持つ解に収束することを示す。
• 交差エントロピー損失の勾配ダイナミクスを導出し、正規化下で指数型損失のダイナミクスと等価であることを示し、線形ネットワークの結果を非線形設定へと拡張可能であることを可能にする。
• 重み正規化と離散化効果を検討し、時間に依存する学習率が離散勾配降下法における収束に不可欠であることを示す。
• 誤分類誤差は双曲型平衡点を引き起こし、誤分類された例の線形包に属する成分にのみ影響を及げるため、安定的ではあるが正則化されない解に収束することがある。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された深層ネットワークは、ランダムラベルをフィットしているにもかかわらず、なぜ過学習しないのか？
• RQ2 深層ネットワークにおける指数型損失に対する勾配降下法は、暗黙的に最小ノルム解へと正則化するのか？
• RQ3 経験的リスクの異なるゼロミニマライザーの一般化性能を理論的基準で順位付けできるか？
• RQ4 指数型損失に対する深層ネットワークにおける勾配降下法のダイナミクスは、線形ネットワークにおけるそれとどのように異なるか？
• RQ5 重み正規化や学習率スケジューリングは、深層ネットワークの収束性および一般化性能にどのような役割を果たすのか？

主な発見

• 分離可能な場合に、指数型損失を用いた深層ネットワークにおける勾配降下法は、スケール要因を除いて各層で最小ノルム解に収束する。
• 収束は初期条件に依存せず、最大マージンに類似した解に対応しており、暗黙的正則化を提供する。
• この暗黙的正則化のおかげで、パrameter数が訓練データサイズを上回っても一般化誤差が安定を保つ。
• 正規化下では、交差エントロピー損失のダイナミクスは指数型損失のダイナミクスと等価であり、線形ネットワークの結果を非線形深層ネットワークへと拡張可能である。
• 誤分類誤差はすべての重み成分を均一に正則化しない。誤分類された例の線形包に属する成分にのみ影響を及ぼし、安定的ではあるが正則化されない平衡点に至る。
• 離散化効果と時間に依存する学習率は収束に不可欠であり、ノイズを抑制し、最小解への漸近的収束を保証する。