[論文レビュー] Rethinking generalization requires revisiting old ideas: statistical mechanics approaches and complex learning behavior

Charles H. Martin, Michael W. Mahoney|arXiv (Cornell University)|Oct 26, 2017

Neural Networks and Applications参考文献 93被引用数 29

ひとこと要約

この論文は、統計力学の原則を再考することで深層ニューラルネットワークの一般化を再考し、正則化があっても過学習が生じる理由を説明する2パラメータモデル（有効データ負荷と温度）を提案する。ノイズと早期停止がスピンガラスに類似した過学習状態への相転移を引き起こし、従来の容量制御では機能しないことを示している。

ABSTRACT

We describe an approach to understand the peculiar and counterintuitive generalization properties of deep neural networks. The approach involves going beyond worst-case theoretical capacity control frameworks that have been popular in machine learning in recent years to revisit old ideas in the statistical mechanics of neural networks. Within this approach, we present a prototypical Very Simple Deep Learning (VSDL) model, whose behavior is controlled by two control parameters, one describing an effective amount of data, or load, on the network (that decreases when noise is added to the input), and one with an effective temperature interpretation (that increases when algorithms are early stopped). Using this model, we describe how a very simple application of ideas from the statistical mechanics theory of generalization provides a strong qualitative description of recently-observed empirical results regarding the inability of deep neural networks not to overfit training data, discontinuous learning and sharp transitions in the generalization properties of learning algorithms, etc.

研究の動機と目的

• 深層ニューラルネットワークが正則化があるにもかかわらずノイズの多いデータで過学習するというパラドックスを解明し、古典的PAC/VC理論の仮定に疑問を呈する。
• ドロップアウトや重み減衰といった一般的な正則化手法が、現代のDNNでは過学習を防げない理由を説明する。
• 深層学習の一般化行動が、容量に基づく境界ではなく統計力学における相転移を通じて理解できると示す。
• 有効データ負荷と温度という2つの制御パラメータを持つ最小限のモデル（VSDL）を提案し、DNNの主要な経験的行動を捉える。
• 深層学習における古典的一般化理論の失敗が、ニューラルネットワークの統計力学的枠組みを再考する必要があることを主張する。

提案手法

• 有効データ負荷（α = m/N）と有効温度（τ）という2つの制御パラメータを持つ非常に単純な深層学習（VSDL）モデルを提案し、両方とも操作的に調整可能である。
• 統計力学的手法を用いてニューラルネットワークのエネルギー状態をモデル化し、一般化状態（高α）と過学習（スピンガラス）状態（低α）の2つの相を特定する。
• ラベルノイズが負荷パラメータαに与える影響を分析し、顕著な割合のラベルをランダム化することで（例：10%）、αが低下し、ネットワークが過学習状態に誘導されることを示す。
• 平均場スピンガラス理論を用いて、損失関数の病理的で非凸な性質を説明し、無限に多くの degenerate 局所的最小値が高エネルギー障壁で分離されていることを示す。
• 早期停止が有効温度τを増加させることを示し、これによりモデルが過学習（スピンガラス）状態から脱出し、一般化状態に安定化されることを説明する。
• ラデマッハ複雑度（ノイズの適合度を測る指標）をエネルギー表面と結びつけ、高複雑度は一般化が崩壊するスピンガラス相に対応することを示す。

実験結果

リサーチクエスチョン

• RQ1 なぜ深層ニューラルネットワークは、ラベルがランダムに破壊されても、古典的一般化理論に反して過学習するのか？
• RQ2 なぜ早期停止は強力な正則化として機能するが、重み減衰やドロップアウトといった他の手法は、このような状況では失敗するのか？
• RQ3 深層ネットワークの損失関数の形状が、一般化状態と過学習状態の間で相転移を経験する仕組みは何か？
• RQ4 有効負荷パラメータ（α = m/N）が、ネットワークが一般化するか記憶するかを決定する上で果たす役割は何か？
• RQ5 スピンガラス相や温度に類似したパラメータといった統計力学的概念が、経験的に観察される一般化の不連続な挙動をどのように説明できるのか？

主な発見

• 深層ニューラルネットワークは、高いノイズレベルでさえもランダムラベルに過学習することができ、これは古典的一般化境界に基づく容量制約が有効でないことを示している。
• ドロップアウト、重み減衰、入力ノイズといった正則化手法は、ラベルの破壊によってスピンガラス状態に誘導された場合、過学習を防げない。
• 早期停止は有効温度τを増加させることで強力な正則化として機能し、過学習（スピンガラス）状態からシステムを脱出できる。
• 有効データ負荷（α）が低いときに相転移が発生し、損失関数の形状が極めて非凸的になり、無限に多くの退化した局所的最小値が高エネルギー障壁で分離される。
• スピンガラス状態は一般化が失敗する病理的過学習状態に対応し、標準的な正則化に対して頑健であるため、古典的手法の経験的失敗を説明できる。
• ラデマッハ複雑度とエネルギー表面の関係から、高複雑度は、ランダムノイズの適合がエネルギー的に有利になる損失関数形状に対応することが示され、記憶化の経験的観察と整合的である。