[論文レビュー] Emergent properties of the local geometry of neural loss landscapes

Stanislav Fort, Surya Ganguli|arXiv (Cornell University)|Oct 14, 2019

Stochastic Gradient Optimization Techniques参考文献 24被引用数 18

ひとこと要約

本稿では、分類タスクにおけるニューラルネットワークの損失関数の幾何的性質の4つを統一的に説明する単純な確率的モデルを提案する：(1) クラスごとに1つずつ、$C$ 個の外れ値的ヘッセ固有値、(2) 高い曲率の低次元部分空間への勾配の一致、(3) 学習過程におけるヘッセ固有値の非単調性、(4) 高い曲率領域を含む「ゴールディロックスゾーン」を通過する低次元超平面における学習の成功。このモデルは、これらの現象を3つの一般的な特徴に起因すると説明する：弱いロジット曲率、クラスタリングされたロジット勾配、および学習と重みスケールの増加に伴うロジット分散の増大により、ソフトマックス確率が凍結する現象。

ABSTRACT

The local geometry of high dimensional neural network loss landscapes can both challenge our cherished theoretical intuitions as well as dramatically impact the practical success of neural network training. Indeed recent works have observed 4 striking local properties of neural loss landscapes on classification tasks: (1) the landscape exhibits exactly $C$ directions of high positive curvature, where $C$ is the number of classes; (2) gradient directions are largely confined to this extremely low dimensional subspace of positive Hessian curvature, leaving the vast majority of directions in weight space unexplored; (3) gradient descent transiently explores intermediate regions of higher positive curvature before eventually finding flatter minima; (4) training can be successful even when confined to low dimensional {\it random} affine hyperplanes, as long as these hyperplanes intersect a Goldilocks zone of higher than average curvature. We develop a simple theoretical model of gradients and Hessians, justified by numerical experiments on architectures and datasets used in practice, that {\it simultaneously} accounts for all $4$ of these surprising and seemingly unrelated properties. Our unified model provides conceptual insights into the emergence of these properties and makes connections with diverse topics in neural networks, random matrix theory, and spin glasses, including the neural tangent kernel, BBP phase transitions, and Derrida's random energy model.

研究の動機と目的

• 分類タスクにおけるニューラルネットワーク損失関数の幾何的性質4つが、なぜ一見関係のないように見えるのかという概念的謎を解明すること。
• 多様なネットワークやデータセットで共通して成立する、最小限の汎用的かつアーキテクチャやデータに依存しない条件の特定。
• 勾配が低次元部分空間に閉じ込められる現象や、学習過程における一時的な高い曲率といった、散在する観察結果を一つの理論的枠組みで統合すること。
• これらの性質が、複雑なアーキテクチャ的要因やデータ固有の構造に起因するのではなく、学習過程におけるロジットダイナミクスの一般的な統計的特徴に起因することを示すこと。

提案手法

• 学習時間とともに増加する分散を持つ独立同一分布のガウス変数としてロジットをモデル化することで、ヘッセと勾配の確率的行列モデルを構築する。
• 同じクラスの勾配が他のクラスの勾配に対してほぼ直交するというロジット勾配のクラスタリングを組み込み、ReLUおよびtanhネットワークにおける実証的観察に基づいて正当化する。
• 学習時間と重みスケールの両方を捉えるために、ロジット分散 $\sigma_z^2$ を単調に増加させるようにモデル化する。
• ロジット分散 $\sigma_z^2$ の増加に伴いソフトマックス確率が凍結するメカニズムを導入し、ヘッセのトレース対ノルム比が低下し、ゴールディロックスゾーンが出現することを説明する。
• ヘッセ行列のランダム射影を用いて、低次元超平面での学習成功が、その超平面が高曲率領域と交差するかどうかに相関することを検証する。
• 解析的にヘッセ固有値統計と $\mathrm{Trace}(H)/\|H\|$ の比を $\sigma_z^2$ の関数として導出し、実証的観察と一致させること。

実験結果

リサーチクエスチョン

• RQ1 なぜニューラルネットワークの損失関数の幾何的性質が、クラス数に正確に一致する $C$ 個のヘッセの外れ値固有値を示すのか？
• RQ2 高次元パラメータ空間にかかわらず、勾配降下法がなぜ低次元部分空間に閉じ込められるのか？
• RQ3 なぜ最大ヘッセ固有値は、期待される単調な平坦化とは逆に、増加し、ピークに達してから減少するのか？
• RQ4 なぜ「ゴールディロックスゾーン」とも呼ばれる、平均より高い曲率領域を含む超平面でのみ低次元学習が成功する領域が存在するのか？
• RQ5 これらの4つの顕在的幾何的現象を生み出す、アーキテクチャに依存しない一般的なトレーニングダイナミクスの性質は何か？

主な発見

• ロジットを独立同一分布のガウス変数としてモデル化し、分散を増加させることで、$C$ 個の明確な高曲率方向と、バルクスペクトルが得られ、$C$ 個の外れ値的ヘッセ固有値の出現を再現できる。
• 同じクラス内でのロジット勾配のクラスタリングにより、異なるクラス間でほぼ直交するため、高曲率の $C$ 次元部分空間への勾配の一致が説明できる。
• 学習過程における最大ヘッセ固有値の非単調性は、$\sigma_z^2$ の増加により捉えられ、確率の凍結に先立って曲率が増加し、その後飽和・固定される。
• ロジット分散 $\sigma_z^2$ の増加に伴い、$\mathrm{Trace}(H)/\|H\|$ の比が低下し、ゴールディロックスゾーンが出現する。これは、ソフトマックス確率の凍結に起因し、CNNにおける実証的観察と整合的である。
• ヘッセ行列のランダム射影を用いた検証により、ゴールディロックスゾーンと交差する低次元のランダムアフィン超平面内での学習成功が、モデルによって正確に再現された。
• 実証的検証により、ロジット分散、勾配長、重みノルムがともに学習時間と重みスケールの増加に伴い増加することが確認され、モデルの中心的仮定が正当化された。