[論文レビュー] Why do Larger Models Generalize Better? A Theoretical Perspective via the XOR Problem

Alon Brutzkus, Amir Globerson|arXiv (Cornell University)|Oct 6, 2018

Neural Networks and Applications被引用数 26

ひとこと要約

この論文は、初期化時の特徴抽出の拡張的探索とトレーニング中の重みクラスタリングという2つの主要なメカニズムを特定することで、過パラメータ化されたReLUネットワークがより小さいネットワークよりも一般化性能が優れている理由を説明している。3層の畳み込みネットワークを用いたXORに類似した検出タスクにおける理論的分析を通じて、過パラメータ化が勾配降下法がより優れた一般化性能を持つグローバルミニマに収束することを示し、MNIST上での実験でもその妥当性を裏付けた。より大きなネットワークではクラスタリングが顕著に観察され、より良いテスト性能を示した。

ABSTRACT

Empirical evidence suggests that neural networks with ReLU activations generalize better with over-parameterization. However, there is currently no theoretical analysis that explains this observation. In this work, we provide theoretical and empirical evidence that, in certain cases, overparameterized convolutional networks generalize better than small networks because of an interplay between weight clustering and feature exploration at initialization. We demonstrate this theoretically for a 3-layer convolutional neural network with max-pooling, in a novel setting which extends the XOR problem. We show that this interplay implies that with overparamterization, gradient descent converges to global minima with better generalization performance compared to global minima of small networks. Empirically, we demonstrate these phenomena for a 3-layer convolutional neural network in the MNIST task.

研究の動機と目的

• 過パラメータ化されたReLUネットワークがゼロのトレーニング誤差を達成しても、より小さいネットワークよりも一般化性能が優れているという経験的事実を説明すること。
• より良い一般化を可能にする背後要因としてのメカニズム（特徴抽出の探索と重みクラスタリング）を同定すること。
• ReLU活性化関数を用いた古典的XOR問題において、勾配降下法のグローバルミニマへの収束保証を初めて提示すること。
• MNISTデータセットを用いた実世界データでの理論的知見の妥当性を検証し、クラスタリングと探索の効果の一般化可能性を示すこと。

提案手法

• 高次元のXOR検出問題（XORD）に対する3層畳み込みネットワーク（ReLU、マックスプーリング、全結合層を含む）の理論的分析。
• 古典的XOR問題の拡張としてのXORD問題の導入。高次元入力における二値パターン検出をモデル化する。
• 過パラメータ化されたネットワークが、特徴検出器のより優れた探索と、プロトタイプ回りへの重みベクトルのクラスタリングにより、より良い一般化性能を達成することの証明。
• 確率的バウンドと集中不等式を用いて、より大きなネットワークがゼロのテスト誤差を達成するグローバルミニマに収束する確率が高くなることを示す。
• MNIST上での実験による検証。120チャネル（大）と4チャネル（小）のネットワークを用い、ランダム初期化とクラスタベース初期化を比較。
• 重みクラスタリングの測定には、最近接センターへの角度分布を用い、異なる初期化およびネットワークサイズの下でのテスト誤差を比較した。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたReLUネットワークが、両者ともゼロのトレーニング誤差を達成しているにもかかわらず、なぜより小さいネットワークよりも一般化性能が優れているのか？
• RQ2 過パラメータ化モデルにおける一般化性能の向上を引き起こす具体的なメカニズム（探索かクラスタリングか）は何か？
• RQ3 ReLU活性化関数を用いた古典的XOR問題において、勾配降下法がゼロのテスト誤差を達成するグローバルミニマに収束できるか？どのような条件下で可能か？
• RQ4 XORD問題からの理論的知見は、MNISTのような実世界データセットへどの程度一般化可能か？
• RQ5 大きなネットワークから得たクラスタプロトタイプを用いて初期化した小さなネットワークは、一般化性能が向上するか？

主な発見

• 過パラメータ化されたネットワークは、初期化段階での特徴検出器の広範な探索と、重みのクラスタリングにより、より良い一般化性能を示す。クラスタリングは有効なモデル容量を制限し、一般化性能を向上させる。
• XORD問題において、両者ともゼロのトレーニング誤差を達成しているにもかかわらず、より大きなネットワークの方がテスト誤差が低く、過パラメータ化による一般化ギャップが顕著に観察された。
• 理論的分析により、特定の分布的仮定のもとで、ReLUネットワークの勾配降下法がXOR問題においてゼロのテスト誤差を達成するグローバルミニマに収束することを証明した。これは、ReLUネットワークに対して初めてのこのような収束保証である。
• MNIST上での実験結果から、大きなネットワーク（120チャネル）は強い重みクラスタリングを示した。一方、クラスタ初期化されたフィルタを用いた小さなネットワーク（4チャネル）は、ランダム初期化の小さなネットワークよりも顕著に高いテスト精度を達成した。
• 大きなネットワークから得たフィルタのクラスタプロトタイプを用いて初期化した小さなネットワークでは、テスト誤差が著しく改善され、クラスタプロトタイプが一般化性能に寄与することが確認された。
• サンプル複雑度と収束確率に関するバウンドを通じて、過パラメータ化が進むほど、ゼロのテスト誤差を達成するグローバルミニマに収束する確率が高くなることが示された。