[論文レビュー] On Generalization and Regularization in Deep Learning

Pirmin Lemberger|arXiv (Cornell University)|Apr 5, 2017

Neural Networks and Applications参考文献 1被引用数 7

ひとこと要約

この論文は、訓練サンプルよりもはるかに多くのパラメータを持つにもかかわらず、大規模なディープニューラルネットワークがなぜ一般化をうまく行うのかを調査し、古典的な正則化理論に挑戦する。ランダムラベルでさえも、これらのモデルがほぼゼロの訓練誤差を達成することを示しており、これはそのラデマッハ複雑度が1に近いことを示唆し、ディープラーニングにおける従来の複雑度に基づく一般化境界が失敗することを意味する。

ABSTRACT

Why do large neural network generalize so well on complex tasks such as image classification or speech recognition? What exactly is the role regularization for them? These are arguably among the most important open questions in machine learning today. In a recent and thought provoking paper [C. Zhang et al.] several authors performed a number of numerical experiments that hint at the need for novel theoretical concepts to account for this phenomenon. The paper stirred quit a lot of excitement among the machine learning community but at the same time it created some confusion as discussions on OpenReview.net testifies. The aim of this pedagogical paper is to make this debate accessible to a wider audience of data scientists without advanced theoretical knowledge in statistical learning. The focus here is on explicit mathematical definitions and on a discussion of relevant concepts, not on proofs for which we provide references.

研究の動機と目的

• 実世界のデータに対して、訓練サンプルの数よりもはるかに多くのパラメータを持つ大規模なディープニューラルネットワークがなぜ一般化をうまく行うのかを説明すること。
• 正則化が過学習を防ぐためにモデルの複雑度を低下させるとする古典的解釈を挑戦すること。
• ディープラーニングの文脈において、ラデマッハ複雑度に基づくような標準的な一般化境界の限界を調査すること。
• 特にランダムラベルで学習する場合に、理論的期待と実効的性能の間の乖離を強調すること。
• ディープネットワークにおける暗黙的なインダクティブバイアスおよび最適化ダイナミクスを考慮する、新たな理論枠組みの必要性を提起すること。

提案手法

• 本物のデータとランダムデータを用いた実験を通じて、ディープニューラルネットワークの一般化行動を分析し、純粋なノイズ画像にランダムラベルを用いて学習する。
• モデル容量の指標としてラデマッハ複雑度を用い、$ n \ll k $ であっても、大規模ネットワークにおいてもそれが1に近いままであることを示し、高い表現力を持つことを示している。
• 明示的正則化手法（例：$ L^2 $、ドロップアウト、早期停止、データ拡張）と、最適化ダイナミクスに起因する暗黙的正則化を比較する。
• 一般化境界 $ \mathbb{E}[\text{err}_P] \leq \widehat{\text{err}}_S + 2\widehat{\mathsf{Rad}}_n(\mathcal{F}) + \text{complexity term} $ を用いて、ディープラーニングにおける古典的境界の失敗を強調する。
• モデルがランダムラベルでほぼゼロの訓練誤差（例：0.18％未満）を達成することを示し、任意のデータを記憶可能であることを示している。
• ディープラーニングの成功は、古典的複雑度制御では説明できないため、新たな理論的概念の必要性を主張する。

実験結果

リサーチクエスチョン

• RQ1 実世界のデータに対して、訓練サンプルの数よりもはるかに多くのパラメータを持つ大規模なディープニューラルネットワークがなぜ一般化をうまく行うのか？
• RQ2 明示的正則化は、ディープラーニングモデルのラデマッハ複雑度をどの程度低減するのか？
• RQ3 ディープネットワークがなぜランダムラベルでほぼゼロの訓練誤差を達成できるのか、そしてこれはモデル容量にどのような含意を持つのか？
• RQ4 なぜラデマッハ複雑度に基づく古典的一般化境界は、ディープネットワークの一般化性能を説明できないのか？
• RQ5 最適化ダイナミクス（例：SGD）は、明示的制約を超えて、どのように暗黙的に正則化に寄与しているのか？

主な発見

• アレクサンネットなどの大規模なディープニューラルネットワークは、ランダムラベルで学習してもほぼゼロの訓練誤差（0.18％未満）を達成でき、これは高い記憶能力を示している。
• これらのモデルのラデマッハ複雑度 $ \widehat{\mathsf{Rad}}_n(\mathcal{F}) $ は1に近い値を示しており、表現力が高く、古典的複雑度測度によって制約を受けていないことを示唆している。
• 高いモデル複雑度にもかかわらず、実際にはディープネットワークは一般化をうまく行うが、これは低複雑度が良い一般化をもたらすと仮定する古典的一般化理論と矛盾している。
• $ L^2 $、ドロップアウト、早期停止、データ拡張といった明示的正則化手法は、ディープネットワークの一般化行動を説明するには不十分である。
• 確率的勾配降下法（SGD）のダイナミクスや、暗黙の最適化効果が一般化に重要な役割を果たしている可能性があるが、依然として十分に理解されていない。
• ラデマッハ複雑度に基づく標準的一般化境界は、ディープラーニングモデルの真の挙動を捉えるにはあまりに緩いため、より洗練された理論枠組みの必要性が示唆される。