[論文レビュー] Fisher SAM: Information Geometry and Sharpness Aware Minimisation

Minyoung Kim, Da Li+2 more|arXiv (Cornell University)|Jun 10, 2022

Optical measurement and interference techniques被引用数 7

ひとこと要約

本稿では、Fisher情報行列から導かれる楕円型近傍をSAMのユークリッド近傍に置き換えることで、より正確で幾何学的感度の高い最適化を可能にする、Fisher SAMと呼ばれる新しいシャープネス・アウェア・ミニマイゼーション手法を提案する。この手法は、画像分類、過学習、ラベルノイズタスクにおいて一般化性能とロバストネスを向上させつつ、標準的なSGDと同等の計算効率を維持する。

ABSTRACT

Recent sharpness-aware minimisation (SAM) is known to find flat minima which is beneficial for better generalisation with improved robustness. SAM essentially modifies the loss function by reporting the maximum loss value within the small neighborhood around the current iterate. However, it uses the Euclidean ball to define the neighborhood, which can be inaccurate since loss functions for neural networks are typically defined over probability distributions (e.g., class predictive probabilities), rendering the parameter space non Euclidean. In this paper we consider the information geometry of the model parameter space when defining the neighborhood, namely replacing SAM's Euclidean balls with ellipsoids induced by the Fisher information. Our approach, dubbed Fisher SAM, defines more accurate neighborhood structures that conform to the intrinsic metric of the underlying statistical manifold. For instance, SAM may probe the worst-case loss value at either a too nearby or inappropriately distant point due to the ignorance of the parameter space geometry, which is avoided by our Fisher SAM. Another recent Adaptive SAM approach stretches/shrinks the Euclidean ball in accordance with the scale of the parameter magnitudes. This might be dangerous, potentially destroying the neighborhood structure. We demonstrate improved performance of the proposed Fisher SAM on several benchmark datasets/tasks.

研究の動機と目的

• ニューラルネットワークのパラメータ空間が持つ本質的な非ユークリッド幾何を無視するSAMのユークリッド近傍の限界を是正すること。
• Fisher情報行列によって誘導される楕円体を用いてSAMの球状近傍を置き換え、統計多様体の構造をより適切に反映することで、一般化性能とロバストネスを向上させること。
• Fisher行列の勾配ノルム近似を用いて情報幾何を組み込みつつ、二重SGDのコストを維持する計算効率の高いSAMの変種を開発すること。
• PAC-Bayesフレームワークにおいて、球状の事前分布から全共分散行列を持つ楕円体への一般化境界を理論的に拡張すること。
• 画像分類、ラベルノイズ、敵対的パラメータ摂動といった多様なベンチマークにおいて、Fisher SAMがSAM や ASAM を上回る実験的優位性を示すこと。

提案手法

• パラメータ空間におけるFisher情報計量によって定義される楕円体近傍に、SAMのL2ノルム近傍を置き換える。これにより、統計多様体の本質的リーマン幾何を捉える。
• ロバスト損失をFisherに由来する楕円体内の最大損失として定義する：$ l^{ ext{FSAM}}( heta) = ext{max}_{ heta' ext{ s.t. } ( heta'- heta)^T I( heta) ( heta'- heta) \leq \gamma^2} l( heta') $、ここで $ I( heta) $ はFisher情報行列である。
• 勾配の外積（対角近似）を用いてFisher情報行列を近似することで、標準的なSGDに僅かなオーバーヘッドしか加えない効率的な計算を可能にする。
• Fisher計量が近傍サイズに与える影響を制御するハイパーパrameter $ \eta $ を導入し、楕円体のスケーリングを適応可能にする。
• 全共分散行列を持つガウス事前分布（楕円体サポート）を用いたPAC-Bayesフレームワークにおける理論的一般化境界を導出することで、SAMの球状事前分布を拡張する。
• 二段階の更新手順でアルゴリズムを実装する：まず、Fisher計量を用いた損失関数の勾配上昇により摂動方向を計算し、次に、最悪ケース損失の負の勾配方向に標準的なSGD更新を行う。

実験結果

リサーチクエスチョン

• RQ1 情報幾何に基づく近傍構造は、ユークリッド近傍を超えてシャープネス・アウェア・ミニマイゼーションの一般化性能を向上させ得るか？
• RQ2 ユークリッド球をFisherに由来する楕円体に置き換えることで、パラメータ摂動やラベルノイズに対するロバストネスはどのように変化するか？
• RQ3 Fisher情報行列をSAMに組み込む際の計算コストはどの程度で、性能を損なわず効率的に近似可能か？
• RQ4 PAC-Bayesフレームワークにおいて、SAMの球状事前分布から、より表現力の高い楕円体事前分布への一般化境界は拡張可能か？
• RQ5 Fisher SAMの性能は、ハイパーパrameter $ \gamma $（近傍サイズ）および $ \eta $（Fisher影響スケーリング）に対してどれほど感度を示すか？

主な発見

• CIFAR-100（WRN-28-10）において、Fisher SAMはSOTAのテスト精度を達成し、20–80%のあらゆるラベルノイズレベルでSAMやASAMを上回る優れたロバストネスを示した。
• ResNet-34を用いたCIFAR-10では、Fisher SAMが敵対的パラメータ摂動（$ \alpha = 5.0 $）に対して最も高いロバストネスを示し、強い摂動下でもSAM や SGD より高い精度を維持した。
• 20%のラベルノイズを伴うCIFAR-10では、Fisher SAMが $ \boldsymbol{93.03 \pm 0.11} $ のテスト精度を達成し、SAMと同等の性能を示しながら、ASAM や SGD を著しく上回った。
• ハイパーパrameter感度分析の結果、Fisher SAMは $ \gamma \in [0.1, 0.5] $ および $ \eta \in [0.01, 1.0] $ の範囲で広い範囲で安定した性能を示し、最適な性能が得られた。
• Fisher SAMの計算オーバーヘッドはほとんどない：CIFAR-10（WRN-28-10）におけるバッチあたりの学習時間は、SAMが0.2322秒、FSAMが0.2334秒であり、ほぼ同一の効率性を示した。
• 理論的分析により、PAC-Bayesフレームワークにおいて、事前分布の集合を球状から楕円体に拡張することで、Fisher SAMがSAMよりも一般化性能に優れていることが確認された。