[論文レビュー] Gradient Matching for Domain Generalization

Yuge Shi, Jeffrey Seely+5 more|arXiv (Cornell University)|Apr 20, 2021

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 15

ひとこと要約

本稿では、異なるドメイン間の勾配を内積を最大化することで一致させることで最適化ダイナミクスを一致させ、不変表現を促進するドメイン一般化手法であるInter-domain Gradient Matching (IDGM) を提案する。Fish と呼ばれる IDGM の1次近似を導入し、2次微分を必要とせず、Wilds および DomainBed ベンチマークで最先端の性能を達成する。分布シフト下での一般化性能が顕著に向上する。

ABSTRACT

Machine learning systems typically assume that the distributions of training and test sets match closely. However, a critical requirement of such systems in the real world is their ability to generalize to unseen domains. Here, we propose an inter-domain gradient matching objective that targets domain generalization by maximizing the inner product between gradients from different domains. Since direct optimization of the gradient inner product can be computationally prohibitive -- requires computation of second-order derivatives -- we derive a simpler first-order algorithm named Fish that approximates its optimization. We demonstrate the efficacy of Fish on 6 datasets from the Wilds benchmark, which captures distribution shift across a diverse range of modalities. Our method produces competitive results on these datasets and surpasses all baselines on 4 of them. We perform experiments on both the Wilds benchmark, which captures distribution shift in the real world, as well as datasets in DomainBed benchmark that focuses more on synthetic-to-real transfer. Our method produces competitive results on both benchmarks, demonstrating its effectiveness across a wide range of domain generalization tasks.

研究の動機と目的

• 機械学習におけるドメイン一般化を扱う。モデルは未観測の分布外データにも一般化できる必要がある。
• 標準的な ERM の限界を克服する。ERM はドメイン固有のバイアスに起因する誤った相関（例：背景特徴）を学習するため。
• 異なるドメイン間での勾配一致を通じて、不変特徴を学習する方法を開発する。
• 2次勾配一致の計算コストが非常に高いという点を踏まえ、計算効率の良い代替手法を設計する。
• 実世界および合成されたドメインシフトベンチマークを対象に、本手法の有効性を検証する。

提案手法

• 異なるドメインからの勾配の内積を最大化することで最適化ダイナミクスを一致させる、ドメイン間勾配一致（IDGM）の目的関数を提案する。
• メタラーニング（Reptile）の知見を活用し、2次微分を回避するための IDGM の1次近似を導出。
• Fish は共有モデルに対して各ドメインで1回の勾配更新を実行し、その後それらの更新の平均に向かってモデルを更新することで、IDGM 目的関数を模倣する。
• トレーニング中に勾配一致を追跡・検証するために、正規化された勾配内積（コサイン類似度）を代理指標として使用する。
• Wilds および DomainBed の多様なデータセットにおいて、トレーニングから再学習する設定およびファインチューニング設定の両方で本手法を適用する。
• ERM と Fish の両方で共通のデータシーケンスを使用することで、勾配内積の追跡を公平に比較する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン間の勾配一致により、最適化経路を一致させることで、分布シフト下でのモデル一般化性能が向上するか？
• RQ2 Hessian の計算を必要としない勾配一致の1次近似（例：Fish）は、2次最適化と同等の性能を達成できるか？
• RQ3 トレーニング中に Fish は ERM よりも高いドメイン間勾配一致を維持または向上させるか？
• RQ4 提案手法は、実世界および合成されたドメインシフトを含む多様なドメイン一般化ベンチマークに一般化可能か？
• RQ5 ハイパーパrameter（例：ドメイン数 N）の値が Fish の性能に与える影響は何か？

主な発見

• Fish は Wilds および DomainBed ベンチマークの13のデータセットで最先端の性能を達成し、広範な適用可能性を示した。
• Wilds ベンチマークでは、CivilComments で 82.4%、FMoW で 77.7% の精度を達成し、ERM や他のベースラインを上回った。
• 正規化されたドメイン間勾配内積は、Fish トレーニング中は一貫して増加または安定を保ち、一方 ERM では減少した。これは勾配一致が確認された。
• CdSprites-N および Poverty では、トレーニングから再学習を実施したが、初期段階で勾配内積が一時的に低下したものの回復した。初期化へのロバストネスを示している。
• ハイパーパramータ感度分析の結果、N の値が異なる場合でも性能は安定しており、N=20 の場合、Poverty および CivilComments でわずかな劣化が見られた。
• 可視化された図1より、本手法は誤った特徴（例：背景）への依存を効果的に低減し、不変特徴学習を促進していることが確認された。