[論文レビュー] Sharpness-Aware Gradient Matching for Domain Generalization

Pengfei Wang, Zhaoxiang Zhang+2 more|arXiv (Cornell University)|Mar 18, 2023

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、経験的リスク、摂動付き損失、およびそれらの差を同時に最小化することで、低い損失を持つ平坦な最小値に収束する、ドメイン一般化のための新規手法であるSharpness-Aware Gradient Matching (SAGM) を提案する。SAGM は、経験的損失と摂動付き損失の勾配方向を暗黙的に一致させることで、追加の計算コストなしに SAM や GSAM よりも一般化性能を向上させ、DomainBed における5つのベンチマークで最先端の性能を達成し、平均正解率 66.1% を達成した。

ABSTRACT

The goal of domain generalization (DG) is to enhance the generalization capability of the model learned from a source domain to other unseen domains. The recently developed Sharpness-Aware Minimization (SAM) method aims to achieve this goal by minimizing the sharpness measure of the loss landscape. Though SAM and its variants have demonstrated impressive DG performance, they may not always converge to the desired flat region with a small loss value. In this paper, we present two conditions to ensure that the model could converge to a flat minimum with a small loss, and present an algorithm, named Sharpness-Aware Gradient Matching (SAGM), to meet the two conditions for improving model generalization capability. Specifically, the optimization objective of SAGM will simultaneously minimize the empirical risk, the perturbed loss (i.e., the maximum loss within a neighborhood in the parameter space), and the gap between them. By implicitly aligning the gradient directions between the empirical risk and the perturbed loss, SAGM improves the generalization capability over SAM and its variants without increasing the computational cost. Extensive experimental results show that our proposed SAGM method consistently outperforms the state-of-the-art methods on five DG benchmarks, including PACS, VLCS, OfficeHome, TerraIncognita, and DomainNet. Codes are available at https://github.com/Wang-pengfei/SAGM.

研究の動機と目的

• ドメイン一般化において、SAM に類する手法が平坦で低い損失の最小値に収束するという限界を解消すること。
• 効果的な一般化のための2つの重要な条件を同定する：近傍での低損失と損失関数の平坦性。
• 両条件を満たすために、経験的リスク、摂動付き損失、およびそれらの差を同時に最適化する手法を開発すること。
• 勾配一致を活用することで、追加の計算コストを増加させることなく一般化性能を向上させること。
• 標準的なドメイン一般化ベンチマークにおいて、最先端の手法に対する一貫した性能向上を実証すること。

提案手法

• 経験的リスク $\mathcal{L}(\theta)$、摂動付き損失 $\mathcal{L}_p(\theta)$、およびその代替的差 $h(\theta) = \mathcal{L}_p(\theta) - \mathcal{L}(\theta)$ を同時に最小化する三目的最適化を提案する。
• 目的関数を、$\mathcal{L}(\theta)$、$\mathcal{L}_p(\theta)$ の勾配間の角度を最小化することで定式化し、勾配一致を可能にする。
• 摂動方向 $\epsilon = \alpha \nabla\mathcal{L}(\theta)$ を用いて、$\theta + \epsilon$ における摂動付き損失を計算し、鋭さに配慮した更新を近似する。
• 経験的損失と摂動付き損失の間で勾配方向を一貫させることで、勾配の衝突を回避する、暗黙の勾配一致を導入する。
• 追加のフォワードパスや複雑なヘッセ行列の近似を避けることで、計算効率を維持する。
• 標準的なディープラーニングフレームワークと互換性がある、標準的なトレーニングパイプラインにそのまま適用可能である。

実験結果

リサーチクエスチョン

• RQ1 経験的リスク、摂動付き損失、およびそれらの差を同時に最小化することで、ドメイン一般化において平坦で低い損失の最小値に収束できるか？
• RQ2 経験的損失と摂動付き損失の間で勾配一致を図ることで、一般化可能な最小値への収束が向上するか？
• RQ3 SAGM は、多様なドメインシフトのシナリオにおいて、SAM や GSAM と比較して一般化性能に優れているか？
• RQ4 事前学習モデルや追加のデータオーグメンテーションに依存せずに、SAGM が最先端の性能を達成できるか？
• RQ5 ドメイン一般化タスクにおいて、一般化性能を向上させる一方で、計算効率を維持できるか？

主な発見

• SAGM は DomainBed ベンチマークで平均正解率 66.1% を達成し、ERM、SAM、GSAM、ERM+SAM をすべて上回った。
• PACS データセットでは、SAGM が Sketch ドメインで 86.6% の正解率を達成し、SAM (85.8%) や GSAM (85.9%) を顕著に上回った。
• SAGM は、PACS、VLCS、OfficeHome、TerraIncognita、DomainNet の5つのベンチマークすべてで、一貫して一般化性能を向上させた。
• 局所的な鋭さの分析から、SAGM は SAM や GSAM よりも平坦な最小値に収束しており、さまざまな摂動半径において最小の損失差 $h_\rho(\theta)$ を示した。
• アブレーションスタディの結果、SAGM における勾配一致は ERM+SAM よりも平均で 1.3% の性能向上をもたらし、その有効性を裏付けた。
• CLIPに基づく事前学習モデルを用いる Miro メソッドをも上回ったことから、外部の事前学習なしに強力な一般化能力を発揮することが示された。