[論文レビュー] Analyzing Sharpness along GD Trajectory: Progressive Sharpening and Edge of Stability

Zhouzi Li, Zixuan Wang+1 more|arXiv (Cornell University)|Jul 26, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は深層ニューラルネットワークにおける勾配降下法のダイナミクスを分析し、鋭さの変化に基づく4段階の軌道を特定する。それは段階的鋭さの増加に続くエッジ・オブ・スタビリティ（EOS）領域における振動である。出力層の重みノルムが鋭さの主要な指標であると提唱し、非単調な損失および鋭さの挙動について理論的かつ実験的説明を提供する。単純化された仮定の下で2層線形ネットワークにおいて厳密な証明がなされている。

ABSTRACT

Recent findings (e.g., arXiv:2103.00065) demonstrate that modern neural networks trained by full-batch gradient descent typically enter a regime called Edge of Stability (EOS). In this regime, the sharpness, i.e., the maximum Hessian eigenvalue, first increases to the value 2/(step size) (the progressive sharpening phase) and then oscillates around this value (the EOS phase). This paper aims to analyze the GD dynamics and the sharpness along the optimization trajectory. Our analysis naturally divides the GD trajectory into four phases depending on the change of the sharpness. We empirically identify the norm of output layer weight as an interesting indicator of sharpness dynamics. Based on this empirical observation, we attempt to theoretically and empirically explain the dynamics of various key quantities that lead to the change of sharpness in each phase of EOS. Moreover, based on certain assumptions, we provide a theoretical proof of the sharpness behavior in EOS regime in two-layer fully-connected linear neural networks. We also discuss some other empirical findings and the limitation of our theoretical results.

研究の動機と目的

• 深層ネットワークにおける勾配降下法の鋭さと損失の非単調な挙動、特にエッジ・オブ・スタビリティ（EOS）領域の出現を理解すること。
• 訓練中に鋭さダイナミクスと相関する実用的指標として、特に出力層重みのノルムを特定すること。
• 単純化された2層線形ニューラルネットワーク設定において、段階的鋭さの増加とEOS挙動の理論的説明を提供すること。
• 古典的最適化理論に反する訓練損失の非単調な減少を説明すること。
• 2/η において鋭さが安定化するメカニズムを明確にすること、これは古典的収束ルールの違反にもかかわらずである。

提案手法

• 鋭さと損失のダイナミクスに基づき、勾配降下法の軌道を4段階に分ける：初期の損失減少、段階的鋭さの増加、EOS領域、最終的安定化。
• 実験的に出力層重みノルムが鋭さの変化の強力な代理指標であると特定し、この代替指標を用いて鋭さダイナミクスの分析を可能にする。
• 出力重みノルムと鋭さ挙動の関連を仮定することで、鋭さ、損失、重みノルムの理論的ダイナミクスを導出する。
• ヘッセ行列のガウス＝ニュートン近似を用い、鋭さを行列 M(t) の最大固有値を通じて近似するため、フィッシャー情報行列（FIM）とニューラル接線カーネル（NTK）に焦点を当てる。
• 勾配フローのダイナミクスを用いて残差ベクトル D(t) をモデル化し、更新則 D(t+1) - D(t) ≈ -ηM(t)D(t) を導出し、鋭さの変化を分析する。
• 弱い仮定の下で2層完全結合線形ネットワークにおいて鋭さ挙動の厳密な理論的証明を提供し、鋭さが 2/η に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 現代の深層ネットワークにおける勾配降下法の軌道に沿った鋭さと損失の明確なダイナミクス的段階は何か？
• RQ2 なぜ鋭さは 2/η に増加し、その後その値の周囲で安定化するのか？これは古典的収束条件に反するにもかかわらずである。
• RQ3 出力層重みのノルムが訓練中に鋭さダイナミクスの信頼できる代理指標として機能できるのはなぜか？
• RQ4 EOS領域で観察される非単調な損失減少は、何によって引き起こされるのか？
• RQ5 単純化されたネットワークアーキテクチャにおいて、EOS領域における鋭さ挙動はどのような条件下で理論的に正当化できるか？

主な発見

• 勾配降下法の軌道は、鋭さと損失のダイナミクスに基づき自然に4段階に分かれる：初期の損失減少、段階的鋭さの増加、鋭さが振動するエッジ・オブ・スタビリティ（EOS）領域、最終的安定化。
• 出力層重みのノルムは、実験的に鋭さの変化を強くかつ信頼性高く示す指標であると判明し、鋭さダイナミクスの間接的分析を可能にする。
• EOS領域では鋭さが 2/η の周囲を振動するが、これは通常は発散を引き起こす理論的閾値である。しかし訓練損失は非単調に減少を続ける。
• 2層完全結合線形ネットワークにおける理論的分析により、弱い仮定の下で鋭さが 2/η に収束することが示され、EOS現象の形式的根拠が得られる。
• 非単調な損失減少は、鋭さの振動挙動と重みノルムの増加、および残差ベクトルダイナミクスの相互作用によって説明される。
• ニューラル接線カーネル（NTK）行列 M(t) の最大固有値は、ヘッセ行列の最大固有値（鋭さ）をよく近似するため、分析における代替指標としての有効性が裏付けられる。