[論文レビュー] On the Maximum Hessian Eigenvalue and Generalization

Simran Kaur, Jérémy Cohen+1 more|arXiv (Cornell University)|Jun 21, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

この論文は、最大ヘッセ固有値 ($\lambda_{\text{max}}$) とニューラルネットワークの一般化の間の関係を調査し、より小さい $\lambda_{\text{max}}$ 値が一般化を一貫して改善するとは限らないことを示している。VGGネットワークを用いた制御された実験を通じて、大きな学習率、バッチ正則化、ドロップアウト、SAMといった介入が $\lambda_{\text{max}}$ を低下させるが、テスト精度を向上させない、あるいは悪化させることがある——特に大規模バッチサイズの状況で顕著である——一方で、バッチ正則化は $\lambda_{\text{max}}$ を低下させないまま一般化を改善することがある。これらの発見は、$\lambda_{\text{max}}$ が一般化の信頼できる代理指標であるという仮説を揺るがすものである。

ABSTRACT

The mechanisms by which certain training interventions, such as increasing learning rates and applying batch normalization, improve the generalization of deep networks remains a mystery. Prior works have speculated that "flatter" solutions generalize better than "sharper" solutions to unseen data, motivating several metrics for measuring flatness (particularly $λ_{max}$, the largest eigenvalue of the Hessian of the loss); and algorithms, such as Sharpness-Aware Minimization (SAM) [1], that directly optimize for flatness. Other works question the link between $λ_{max}$ and generalization. In this paper, we present findings that call $λ_{max}$'s influence on generalization further into question. We show that: (1) while larger learning rates reduce $λ_{max}$ for all batch sizes, generalization benefits sometimes vanish at larger batch sizes; (2) by scaling batch size and learning rate simultaneously, we can change $λ_{max}$ without affecting generalization; (3) while SAM produces smaller $λ_{max}$ for all batch sizes, generalization benefits (also) vanish with larger batch sizes; (4) for dropout, excessively high dropout probabilities can degrade generalization, even as they promote smaller $λ_{max}$; and (5) while batch-normalization does not consistently produce smaller $λ_{max}$, it nevertheless confers generalization benefits. While our experiments affirm the generalization benefits of large learning rates and SAM for minibatch SGD, the GD-SGD discrepancy demonstrates limits to $λ_{max}$'s ability to explain generalization in neural networks.

研究の動機と目的

• 最大ヘッセ固有値 ($\lambda_{\text{max}}$) がニューラルネットワークの一般化を信頼性高く予測したり、因果的に影響したりするかどうかを調査すること。
• 学習率、バッチサイズ、ドロップアウト、バッチ正則化、SAM といった多様な訓練介入において、$\lambda_{\text{max}}$ が平坦性の指標としての堅牢性を示すかをテストすること。
• 一般化の向上が $\lambda_{\text{max}}$ を低下させない状況や、$\lambda_{\text{max}}$ を低下させても一般化が向上しない状況が存在するかどうかを特定すること。
• SAM やバッチ正則化の成功を説明する科学的根拠として、$\lambda_{\text{max}}$ が有効であるかどうかを評価すること。

提案手法

• 著者たちは、学習率、バッチサイズ、ドロップアウト率、バッチ正則化の変化を制御した状態で、CIFAR-10 に対して VGG-11 モデルをミニバッチSGDで学習させた。
• Cohen ら [24] の手法に従い、連続する訓練ステップ間のグリッドベース近似を用いて $\lambda_{\text{max}}$ を計算し、エッジ・オブ・スタビリティ領域での精度を確保した。
• 小規模および大規模バッチサイズの両方で実験を行い、$\lambda_{\text{max}}$ とテスト精度に与える影響を評価するために学習率を変動させた。
• バッチ正則化、ドロップアウト、SAM を有する・ないモデルを比較し、複数のランダムシードを用いて $\lambda_{\text{max}}$ と一般化性能を測定した。
• バッチサイズと学習率を同時に増加させる際のトレーニングダイナミクスの一貫性を保つために、線形スケーリング則を適用した。
• 各設定について4回の実行を実施し、$\lambda_{\text{max}}$ とテスト精度の測定値の堅牢性を保証する統計的比較を行った。

実験結果

リサーチクエスチョン

• RQ1 大規模バッチサイズにおいても、学習率の増加による $\lambda_{\text{max}}$ の低下が一般化を一貫して向上させるのか？
• RQ2 学習率とバッチサイズを同時にスケーリングすることで $\lambda_{\text{max}}$ を低下させても、一般化性能は変化しないのか？
• RQ3 大規模バッチ領域において、$\lambda_{\text{max}}$ が低下したとしても、SAM の一般化的利益が持続するのか？
• RQ4 過剰なドロップアウト確率は $\lambda_{\text{max}}$ を低下させるが、一般化性能を劣化させるのか？
• RQ5 バッチ正則化は $\lambda_{\text{max}}$ を低下させないまま一般化を向上させることができるのか？

主な発見

• バッチ正則化を施さないVGGネットワークでは、学習率を増加させることですべてのバッチサイズで $\lambda_{\text{max}}$ が低下するが、大規模バッチサイズでは一般化の恩恵が消失する。
• 学習率とバッチサイズを比率を保ったままスケーリングすることで、$\lambda_{\text{max}}$ は低下するが一般化性能に変化はなく、$\lambda_{\text{max}}$ が一般化に因果的関係を持たないことを確認した。
• SAM はすべてのバッチサイズで $\lambda_{\text{max}}$ を低下させるが、大規模バッチサイズでは一般化の利益が減少し、完全に消失する——平坦な解が得られても同様である。
• 過剰な高いドロップアウト確率は $\lambda_{\text{max}}$ を低下させるが、テスト精度を劣化させる——より小さい $\lambda_{\text{max}}$ でも一般化が向上しないことを示している。
• 大規模な学習率、特に大規模バッチ設定において、バッチ正則化は一般化を向上させるが、$\lambda_{\text{max}}$ を顕著に低下させない——一般化が平坦な解なしに向上しうることを示している。
• 固定された学習率とバッチサイズの下で、バッチ正則化あり・なしのモデルは $\lambda_{\text{max}}$ 値がほぼ同等であるが、テスト精度には顕著な差が生じる——$\lambda_{\text{max}}$ では一般化の差を説明できないことを示している。