[論文レビュー] When Do Flat Minima Optimizers Work?

Jean Kaddour, Linqing Liu+2 more|arXiv (Cornell University)|Feb 1, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文は、コンピュータビジョン、自然言語処理（NLP）、グラフ表現学習の分野における42のタスクにおいて、Stochastic Weight Averaging（SWA）とSharpness-Aware Minimization（SAM）という2つの代表的なフラット・ミニマ最適化手法を包括的な実験的に比較している。Hessian解析によりSAMがよりフラットなミニマを発見する一方で、SWAは特にグラフ学習において一般化性能が優れていることが多く、SAMの反復値を平均化することで最もフラットな解が得られ、性能の差はモデルアーキテクチャーやデータセットに強く依存する。

ABSTRACT

Recently, flat-minima optimizers, which seek to find parameters in low-loss neighborhoods, have been shown to improve a neural network's generalization performance over stochastic and adaptive gradient-based optimizers. Two methods have received significant attention due to their scalability: 1. Stochastic Weight Averaging (SWA), and 2. Sharpness-Aware Minimization (SAM). However, there has been limited investigation into their properties and no systematic benchmarking of them across different domains. We fill this gap here by comparing the loss surfaces of the models trained with each method and through broad benchmarking across computer vision, natural language processing, and graph representation learning tasks. We discover several surprising findings from these results, which we hope will help researchers further improve deep learning optimizers, and practitioners identify the right optimizer for their problem.

研究の動機と目的

• コンピュータビジョン、NLP、グラフ表現学習を含む多様なディープラーニング分野において、SWAとSAMを体系的に比較すること。
• モデルアーキテクチャーやデータセットの特性が、フラット・ミニマ最適化手法の有効性に与える影響を調査すること。
• Hessian固有値と線形補間を用いて、SWAとSAMが発見する損失関数の幾何構造およびミニマのフラットネスを分析すること。
• フラット・ミニマ最適化手法が一般化を改善する条件と、失敗する条件を特定すること。
• 今後の研究や実務家が利用可能な再現可能なベンチマークを提供し、コードとハイパーパrameterを公開すること。

提案手法

• 画像分類、NLP、グラフ学習をカバーする42の多様なタスクにおいて、標準化されたトレーニングプロトコルに従い、SWAとSAMを用いてモデルを学習した。
• 損失関数の幾何構造を可視化し、フラットネスを定量化するために、モデル重み間の線形補間を用いた。
• Hessian固有値を計算することで、SWAとSAMが発見するミニマのフラットネスを定量的に比較した。
• 各タスクおよびモデルアーキテクチャごとにハイパーパramータチューニングを実施する、きめ細かいモデル選定手順を採用した。
• SWAとSAMを組み合わせたハイブリッド最適化戦略を検討するため、WASAM（Weight-Averaged SAM）を適用した。
• NLPのGLUEやGRLのOGBなどの標準ベンチマークを用い、標準的な評価指標で結果を報告した。

実験結果

リサーチクエスチョン

• RQ1 SWAとSAMは、多様なディープラーニングタスクにおいて、一般化性能でどのように比較されるか？
• RQ2 SAMは常にSWAよりもフラットなミニマを発見するのか？また、そのフラットネスは一般化性能の向上に結びつくのか？
• RQ3 モデルアーキテクチャーやデータセットの種別が、SWAとSAMの相対的性能にどのように影響するか？
• RQ4 Hessianを用いて測定した損失関数のフラットネスと、実際のテスト精度の間にどのような関係があるか？
• RQ5 SAMの反復値を平均化することで、標準的なSAMを上回るフラットネスと一般化性能が得られるか？

主な発見

• Hessian固有値解析によりSAMがSWAよりもフラットなミニマを発見する一方で、SWAは特にグラフ表現学習（GRL）タスクにおいて一般化性能が優れていることが多い。
• NLPタスクでは、SAMが大多数のケースでSWAを上回り、この分野ではフラットネスがより有益であることが示唆される。
• GRLタスクでは、SWAが一貫してSAMを上回り、フラットネスそのものが一般化性能の向上に十分ではないことが示唆される。
• WASAM（SAMの反復値を平均化）により、すべての手法の中で最もフラットなミニマが得られ、アンサンブル平均化がフラットネスを向上させることを示している。
• フラット・ミニマ最適化手法が性能向上を果たさない場合、トレーニング中の損失関数と精度曲線の形状に明確な差が観察される。
• SWAとSAMの有効性は、モデルアーキテクチャーやデータセットの両方に強く依存しており、万能な最適化手法は存在しない。