[論文レビュー] Towards Understanding Sharpness-Aware Minimization

Maksym Andriushchenko, Nicolas Flammarion|arXiv (Cornell University)|Jun 13, 2022

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿は、Sharpness-Aware Minimization (SAM) の理論的および実験的分析を提供し、SAM の暗黙的バイアスが、特に m-シャープネスを用いる場合、標準的な SGD よりも平坦な極小値およびより良い一般化を促進することを示している。非凸目的関数に対しても収束を証明し、特に中程度の幅のモデルやノイズのあるラベル条件下で、SAM が一般化性能を顕著に向上させることを実証している。

ABSTRACT

Sharpness-Aware Minimization (SAM) is a recent training method that relies on worst-case weight perturbations which significantly improves generalization in various settings. We argue that the existing justifications for the success of SAM which are based on a PAC-Bayes generalization bound and the idea of convergence to flat minima are incomplete. Moreover, there are no explanations for the success of using $m$-sharpness in SAM which has been shown as essential for generalization. To better understand this aspect of SAM, we theoretically analyze its implicit bias for diagonal linear networks. We prove that SAM always chooses a solution that enjoys better generalization properties than standard gradient descent for a certain class of problems, and this effect is amplified by using $m$-sharpness. We further study the properties of the implicit bias on non-linear networks empirically, where we show that fine-tuning a standard model with SAM can lead to significant generalization improvements. Finally, we provide convergence results of SAM for non-convex objectives when used with stochastic gradients. We illustrate these results empirically for deep networks and discuss their relation to the generalization behavior of SAM. The code of our experiments is available at https://github.com/tml-epfl/understanding-sam.

研究の動機と目的

• PAC-Bayes 界や平坦な極小値の収束に基づく、既存の SAM の成功の裏付けの不完全性を是正すること。
• m-シャープネスが一般化にどのように重要であるかを、最悪ケースの重み摂動の文脈で解明すること。
• 対角線形ネットワークにおける SAM の暗黙的バイアスを理論的に分析し、非線形ネットワークにおける実証的検証を実施すること。
• 非凸最適化における確率的勾配下での SAM の収束保証を確立すること。
• 深層ネットワークにおける実証的評価を通じて、SAM の収束行動と一般化性能の関係を明らかにすること。

提案手法

• m-シャープネスを主要な要素として用いた、対角線形ネットワークにおける SAM の暗黙的バイアスの理論的分析。
• 標準モデルを SAM で微調整する手法を用いた、非線形ネットワークにおける SAM の暗黙的バイアスの実証的研究。
• 確率的非凸最適化設定下での SAM の収束に関する導出および証明。
• 一般化に与える影響を評価するために、最悪ケース摂動に使用する例の数 m を変化させた m-SAM の使用。
• バッチサイズ、モデル幅、摂動半径を変化させた CIFAR-10 および CIFAR-100 における ResNet-18 および ResNet-34 を用いた実証的評価。
• 勾配正規化あり・なしの SAM を比較し、時間経過とともに摂動半径 ρ を減少させる手法の影響を評価。

実験結果

リサーチクエスチョン

• RQ1 なぜ m-シャープネスが SAM の一般化性能において重要であり、平均ケースのロバストネスとはどのように異なるのか？
• RQ2 線形および非線形設定において、SAM の暗黙的バイアスは、標準的な SGD よりも常に平坦で、より一般化性能の良い極小値を優遇するのか？
• RQ3 非凸な深層学習目的関数において、SAM の収束行動と一般化性能の関係は何か？
• RQ4 最悪ケース摂動に使用する例の数 m を変化させた場合、一般化性能および学習安定性にどのような影響を与えるか？
• RQ5 ラベルノイズ下での SAM の性能はいかがであり、勾配正規化や摂動半径 ρ を時間経過とともに減少させることは、その性能に影響を与えるか？

主な発見

• 対角線形ネットワークにおいて、SAM は標準的な SGD よりも一般化性能の優れた解を一貫して選択し、m-シャープネスを用いることでその効果が強化される。
• 実証的結果から、標準モデルを SAM で微調整することで、特に中程度の幅のモデル（例：幅係数 16 では最大の向上を示す）において顕著な一般化性能の向上が得られることが明らかになった。
• m がバッチサイズに等しい SAM は、標準的な SGD に対してわずかな改善をもたらすが、大バッチと小バッチの SGD 間の一般化ギャップを完全に埋めることはできない。
• 摂動半径 ρ を時間経過とともに減少させることは、一般化性能に悪影響を及ぼすことが示され、収束性および性能の観点から、一定の ρ を維持することが好ましいことが示唆された。
• 60% のラベルノイズ下でも、勾配正規化あり・なしの SAM はほぼ同一のテスト誤差を示し、ノイズのある環境下でも勾配正規化に対してロバストであることが示された。
• SAM の学習目的関数は一貫した減少トレンドを示しており、学習誤差の増加が最適化の失敗によるものではなく、目的関数の形状の性質であることが確認された。