[論文レビュー] Understanding deep learning requires rethinking generalization

Chiyuan Zhang, Samy Bengio+3 more|arXiv (Cornell University)|Nov 10, 2016

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 1,089

ひとこと要約

本論文は、現代の深層ネットワークがランダムなラベル/ピクセルを記憶できることを示し、従来の一般化理論に挑戦するとともに、単純なネットワークに対する有限サンプルの表現力を証明し、SGDを介した潜在的正則化が鍵であると主張する。

ABSTRACT

Despite their massive size, successful deep artificial neural networks can exhibit a remarkably small difference between training and test performance. Conventional wisdom attributes small generalization error either to properties of the model family, or to the regularization techniques used during training. Through extensive systematic experiments, we show how these traditional approaches fail to explain why large neural networks generalize well in practice. Specifically, our experiments establish that state-of-the-art convolutional networks for image classification trained with stochastic gradient methods easily fit a random labeling of the training data. This phenomenon is qualitatively unaffected by explicit regularization, and occurs even if we replace the true images by completely unstructured random noise. We corroborate these experimental findings with a theoretical construction showing that simple depth two neural networks already have perfect finite sample expressivity as soon as the number of parameters exceeds the number of data points as it usually does in practice. We interpret our experimental findings by comparison with traditional models.

研究の動機と目的

• 高い容量にもかかわらず大型ニューラルネットワークが一般化する理由を問う。
• 伝統的な複雑さの指標に基づく枠組みが深層ネットの一般化を説明できるかを検証する。
• 深層学習における明示的正則化と潜在的正則化の役割を探る。
• データを記憶するためのニューラルネットの有限サンプル表現力を示す。

提案手法

• 標準的なアーキテクチャをランダムなラベル付きデータで学習させることでランダム化テストを実施する。
• 真の画像をランダムピクセルに置換し、ノイズレベルを変化させて適合能力を評価する。
• 明示的正則化子（ウェイト減衰、ドロップアウト、データ拡張）を有/無で訓練し、一般化を比較する。
• 理論的に、p = 2n + d のパラメータを持つ2層ReLUネットワークを構築し、d次元のサイズnサンプルの任意のラベリングを適合できることを示す。
• 線形モデルの最小ノルム解と解を結びつけることで、SGDを潜在的正則化として分析する。
• VC次元、Rademacher 複雑性、均一安定性について考察する。

実験結果

リサーチクエスチョン

• RQ1 ラベルがランダム化された場合でも深層ネットワークは訓練データに適合できるのか、そしてそれが実効容量に何を意味するのか。
• RQ2 明示的正則化子は一般化を完全に説明するのか、それとも最適化による潜在正則化の方がより重要なのか。
• RQ3 有限サンプルの表現力はネットワークの一般化の理解をどう制約するのか。
• RQ4 多くの補間解の中から選択する最適化ダイナミクス（SGD）の役割は何か。
• RQ5 標準的な複雑さ指標（VC、Rademacher、安定性）は観測されたディープラーニングの一般化とどう整合するか。

主な発見

• CIFAR-10やImageNet全体でランダムラベルに対して訓練誤差をゼロにできる深層ネットワークを示し、データを記憶するのに十分な容量があることを示している。
• ラベルをランダムにすると一般化誤差が増加する一方、訓練誤差はゼロのままであり、従来の複雑性ベースの説明に挑戦する。
• 明示的正則化子（ウェイト減衰、ドロップアウト、データ拡張）は改善には寄与するが、これらのタスクで良好な一般化には不可欠ではない。
• 2n + d パラメータを持つ単純な2層ReLUネットワークは、d次元のn点サンプルの任意のラベリングを表現でき、強い有限サンプル表現力を示す。
• SGDは線形設定で潜在的正則化子として機能し、最小ノルム解は良く一般化できる可能性があり、明示的正則化を超えた最適化ダイナミクスが一般化に寄与することを示唆する。