[論文レビュー] The empirical size of trained neural networks

Kai Chen, Anthony Gamst+1 more|arXiv (Cornell University)|Nov 29, 2016

Neural Networks and Applications参考文献 4被引用数 3

ひとこと要約

この論文は、訓練済みのReLUニューラルネットワークが、パラメータ数が示唆するよりもはるかに単純であることを経験的に示している。理論的に可能であるO(N^K)ではなく、O(NK)の線形部分に過ぎない。広範な実験を通じて、標準的な初期化と訓練が最適化の全過程にわたり退化し、スパースなネットワークを生み出すことが明らかになった。これは、一般化の成功を説明するものであり、周波数の低い成分が先に学習される線形の訓練ダイナミクスを可能にする。

ABSTRACT

ReLU neural networks define piecewise linear functions of their inputs. However, initializing and training a neural network is very different from fitting a linear spline. In this paper, we expand empirically upon previous theoretical work to demonstrate features of trained neural networks. Standard network initialization and training produce networks vastly simpler than a naive parameter count would suggest and can impart odd features to the trained network. However, we also show the forced simplicity is beneficial and, indeed, critical for the wide success of these networks.

研究の動機と目的

• 訓練済みのReLUネットワークが、パラメータ数が示唆するよりもはるかに少ない線形部分を持つという理論的主張を、経験的に検証すること。
• 標準的な初期化と訓練手順が、ネットワークの単純さと退化（例えば、ゼロ関数となるニューロン）をどのように引き起こすかを調査すること。
• 特にミニバッチサイズがネットワークの品質と最適化行動に与える影響を検討すること。
• この固有の単純さが、一般化や効率的な学習にどのように有益かを調べること。
• 訓練ダイナミクスが周波数の低い成分を優先することを示し、複雑な関数を粗い特徴を優先して効率的に学習できることを実証すること。

提案手法

• Kerasで、Glorot uniform初期化とAdadelta最適化子を用いた標準的なフィードフォワードReLUネットワークを使用した。
• ガウスノイズ入力に対する出力の二乗和を測定し、ガウス的複雑度の代理指標としてネットワークサイズを定量化した。
• 1エポックあたり1回の勾配ステップで最大50,000エポックまで訓練し、平均二乗誤差とサイズの推移を追跡した。
• ミニバッチサイズ（残差バッチを含む）を変化させ、それが訓練品質と収束に与える影響を評価した。
• 周波数成分が明確に分かっている合成データ（例：線形スプライン＋ノイズ）を用いて、学習ダイナミクスを分離して分析した。
• ノイズありとノイズなしのデータで訓練したモデルの差を計算し、ノイズの適合行動を近似した。

実験結果

リサーチクエスチョン

• RQ1 標準的な初期化と訓練が、理論的な最大値を下回る有効な複雑度に、ReLUネットワークの複雑度をどれほど低減するのか。
• RQ2 ミニバッチサイズと残差バッチが、訓練済みネットワークの品質と安定性にどのように影響するのか。
• RQ3 ノイズありデータで訓練されたネットワークが、なぜ周波数の高いノイズよりも周波数の低い成分を先に学習するのか。この現象が一般化に与える影響は何か。
• RQ4 観察された単純さと線形の訓練ダイナミクスを、特にノイズが多い状況でモデル適合を改善するために活用できるか。
• RQ5 訓練中に、退化したニューロン（同一にゼロ関数となるもの）がどれほど頻発するのか。それらはネットワーク行動にどのように影響を与えるのか。

主な発見

• 3入力、20層のネットワークでは、5トレーニングステップ後には最終隠れ層の30％のニューロンが完全にゼロであった。これは、1次元の場合を超えた退化の確認である。
• 2500以上のデータポイントを用いても、3入力・4隠れ層のネットワークでは、出力の二乗和の最大値が600にとどまり、完全なフィットに期待される2500よりもはるかに低い。これは、単純さへの強いインダクティブバイアスを示している。
• 残差グループ付きのバッチ処理は訓練結果に顕著な影響を及ぼし、小さな最終バッチは不安定性を引き起こし、収束パターンを変化させた。
• バイアスをゼロ初期化した状態で、高周波数の歯型波を学習させたネットワークは、十分な容量があるにもかかわらず、8000～20,000エポックで局所最適解に閉じ込められ、改善が止まった。
• ノイズ付き関数（スプライン＋ノイズ）を学習させたところ、最初に周波数の低い成分が学習され、ノイズの適合はノイズのみで学習した場合と同程度の速度で進行した。これは線形の訓練ダイナミクスを確認するものであった。
• ノイズありとノイズなしのデータで訓練したモデルの差が、ほぼ正確にノイズに一致した。これは、『人工的ブースティング』（事前に既知の成分を追加してから訓練）を実行することで、実際のノイズ適合が向上する可能性を示唆している。