[論文レビュー] Identity Crisis: Memorization and Generalization under Extreme Overparameterization

Chiyuan Zhang, Samy Bengio+3 more|arXiv (Cornell University)|Feb 13, 2019

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 34

ひとこと要約

過剰パラメータ化されたニューラルネットワークが、単一の例で恒等写像を学習する際に記憶化と一般化のどちらを促進するかを調査し、FCNとCNNアーキテクチャを比較し、アーキテクチャ依存の帰納バイアスを浮き彫りにする。

ABSTRACT

We study the interplay between memorization and generalization of overparameterized networks in the extreme case of a single training example and an identity-mapping task. We examine fully-connected and convolutional networks (FCN and CNN), both linear and nonlinear, initialized randomly and then trained to minimize the reconstruction error. The trained networks stereotypically take one of two forms: the constant function (memorization) and the identity function (generalization). We formally characterize generalization in single-layer FCNs and CNNs. We show empirically that different architectures exhibit strikingly different inductive biases. For example, CNNs of up to 10 layers are able to generalize from a single example, whereas FCNs cannot learn the identity function reliably from 60k examples. Deeper CNNs often fail, but nonetheless do astonishing work to memorize the training output: because CNN biases are location invariant, the model must progressively grow an output pattern from the image boundaries via the coordination of many layers. Our work helps to quantify and visualize the sensitivity of inductive biases to architectural choices such as depth, kernel width, and number of channels.

研究の動機と目的

• 極端に過剰パラメータ化されたネットワークにおける記憶化と一般化のバランスを調査する。
• 単一の例の恒等タスクにおいて、アーキテクチャ（FCN対CNN、深さ、カーネルサイズ）が帰納バイアスに与える影響を検討する。
• アーキテクチャの選択が恒等関数の近似能力に与える影響を定量化し、可視化する。
• 単純化されたケースの形式的な結果と、ネットワークの深さと構成全体にわたる経験的洞察を提供する。

提案手法

• 単一の訓練例と恒等マッピング目的を用いた高度に過剰パラメータ化された設定を研究する。
• 再構成誤差を最小化するよう、さまざまなアーキテクチャ（線形および非線形、全結合および畳み込み）を訓練する。
• 未見データに対する予測に関連する単一層FCNおよびCNNの理論的特性を提示する。
• アーキテクチャのハイパーパラメータ（深さ、カーネル幅、チャンネル数）と初期化を系統的に変化させ、記憶化または一般化へのバイアスを観察する。
• 定性的な可視化と定量的な相関を用いて、恒等関数および定数関数に対する予測を比較する。

実験結果

リサーチクエスチョン

• RQ1 単一の訓練例による極端な過剰パラメータ化が、FCNとCNNアーキテクチャ間の記憶化と一般化にどのように影響するか。
• RQ2 どのアーキテクチャ要素（深さ、カーネルサイズ、チャンネル数）が恒等関数または定数関数へモデルを偏らせるか？
• RQ3 ワンショット学習の下で単純なネットワークの挙動を形式化でき、CNNでは予期せず一般化を観察できる一方、FCNでは memorization を観察できるのか？
• RQ4 訓練ダイナミクスと初期化スキームは、深く過剰パラメータ化されたモデルにおける帰納バイアスをどのように形成するか？
• RQ5 1層の CNN における恒等学習を模倣する境界条件や定性的な説明は、パッチのランク依存性とどう関連するか？

主な発見

• CNN は単一の例から数層にわたって一般化できる一方、FCN はしばしば記憶化するか、未見データに対してランダムな出力を生成する。
• より深い線形ネットワークは定数関数へバイアスをかけ、浅いネットワークは訓練領域の外でランダムノイズに似る可能性がある。
• CNN はアーキテクチャ依存のバイアスを示し、中間深さの CNN は恒等を近似できる一方、非常に深い CNN は訓練出力を記憶してしまう傾向がある。
• 理論的結果は、1 層 FCN が訓練例に沿った射影と直交方向にはランダム成分が支配的な出力を予測し、記憶化の振る舞いを説明する。
• CNN の平均二乗誤差界は、パラメータ数、チャネル数、受容野、局所入力パッチのランクに依存し、容量と恒等関数の学習可能性のトレードオフを示している。