[論文レビュー] Why neural networks find simple solutions: the many regularizers of geometric complexity

Benoît Dherin, Michael Munn+2 more|arXiv (Cornell University)|Sep 27, 2022

Machine Learning in Materials Science被引用数 10

ひとこと要約

本稿では、離散的Dirichletエネルギーに基づく、計算的に扱いやすいモデル関数の変動性を測るためのGeometric Complexity（GC）を導入し、重みノルム正則化、スペクトルノルム制御、平坦性正則化、ノイズ注入といった多様な深層学習の学習ヒューリスティクスが、どのように暗黙的にモデルの複雑さを低減しているかを統一的に説明する。主な貢献は、GCがダブルデセントの挙動を捉え、入力に関するモデル関数の一次微分を通じて、暗黙の正則化と明示的正則化を統合するフレームワークを提供することにある。

ABSTRACT

In many contexts, simpler models are preferable to more complex models and the control of this model complexity is the goal for many methods in machine learning such as regularization, hyperparameter tuning and architecture design. In deep learning, it has been difficult to understand the underlying mechanisms of complexity control, since many traditional measures are not naturally suitable for deep neural networks. Here we develop the notion of geometric complexity, which is a measure of the variability of the model function, computed using a discrete Dirichlet energy. Using a combination of theoretical arguments and empirical results, we show that many common training heuristics such as parameter norm regularization, spectral norm regularization, flatness regularization, implicit gradient regularization, noise regularization and the choice of parameter initialization all act to control geometric complexity, providing a unifying framework in which to characterize the behavior of deep learning models.

研究の動機と目的

• 深層ニューラルネットワークの一般化行動を反映するが、計算的に扱いやすい複雑さの測定法が不足しているという問題に対処すること。
• 重みノルム、スペクトル、平坦性正則化といった多様な正則化手法—明示的および暗黙的—を、学習関数の幾何的性質に基づく単一の理論的枠組みで統一すること。
• モデルサイズが増加する際のテスト誤差におけるダブルデセント現象が、幾何的複雑さによって捉えられることを示すこと。
• 初期化、学習率、バッチサイズ、重み減衰といった一般的な学習ヒューリスティクスが、すべて幾何的複雑さを制御することを示すこと。
• パrameter数やノルムに基づく複雑さといった従来の測定法よりも、モデルの性能をより的確に反映する代理指標を提供すること。

提案手法

• ネットワーク出力の入力に関する一次微分から計算される離散的Dirichletエネルギーを用いて、モデル関数の変動性を測るGeometric Complexity（GC）を提案する。
• 調和関数理論とリプシッツ滑らかさを用いて、GCがモデル複雑さの代理指標として理論的に妥当であることを裏付ける。
• 重みノルム正則化、スペクトルノルム制御、ラベルノイズ、学習率／バッチサイズの選択といった、複数の学習ヒューリスティクスにおけるGCの実験的評価を実施する。
• 転送定理（Transfer Theorem）を適用し、低GC領域が平坦な最小値と一致し、損失勾配が小さいことを示し、鋭さに基づく測定法と整合することを示す。
• 最適化ダイナミクスの混同要因を避けるために、モーメンタムなしのSGDを用いてモデルを訓練し、各ヒューリスティクスがGCに与える影響を分離する。
• 補足実験として、代替最適化手法（Adam、モーメンタム付きSGD）および追加の訓練技術（学習率スケジューリング、データオーグメンテーション）を用いて結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークに対して、一般化性能を反映し、計算的に扱いやすい複雑さの統一的測定法をどのように定義できるか？
• RQ2 重み減衰、バッチノーマライゼーション、ラベルノイズといった一般的な学習ヒューリスティクスが、幾何的複雑さをどれほど低減するか？
• RQ3 幾何的複雑さは、過パラメータ化されたモデルで観察されるダブルデセント一般化曲線を説明できるか？
• RQ4 幾何的複雑さは、鋭さや有効次元性といった他の複雑さ測定法とどのように関係するか？
• RQ5 初期化スキームと学習ハイパーパramータは、学習関数の幾何的複雑さにどのように影響を与えるか？

主な発見

• Geometric Complexity（GC）は、モデル関数の一次微分に基づく計算効率の良い測定法であり、大規模な深層学習モデルに対しても扱いやすい。
• 重みノルム正則化、スペクトルノルム制御、ラベルノイズといった標準的な学習ヒューリスティクスが、幾何的複雑さを顕著に低減することが示された。
• 初期化スキーム（例：He、Xavier）の選択は、初期の幾何的複雑さに測定可能な影響を持つことが分かった。一部のスキームは初期のGCを低く抑える。
• 大きな学習率と小さなバッチサイズは、幾何的複雑さを低減することが示され、暗黙の勾配正則化と整合的である。
• 幾何的複雑さは、モデルサイズが増加するに従いテスト誤差に現れるダブルデセント現象を捉え、GCが補間閾値でピークに達することが分かった。
• 転送定理により、低GCと平坦な最小値の間の直接的な関連が確立され、低GC領域は低損失勾配と高い平坦性に対応することが示された。