[論文レビュー] MADG: Margin-based Adversarial Learning for Domain Generalization

Aveen Dayal, K B Vimal+4 more|arXiv (Cornell University)|Nov 14, 2023

Domain Adaptation and Few-Shot Learning被引用数 19

ひとこと要約

MADG は、ドメイン一般化のためにドメイン不変特徴を学習するためのマージン損失ベースの対立学習アプローチを提案し、未知のターゲット誤差の理論的上限を提供します。

ABSTRACT

Domain Generalization (DG) techniques have emerged as a popular approach to address the challenges of domain shift in Deep Learning (DL), with the goal of generalizing well to the target domain unseen during the training. In recent years, numerous methods have been proposed to address the DG setting, among which one popular approach is the adversarial learning-based methodology. The main idea behind adversarial DG methods is to learn domain-invariant features by minimizing a discrepancy metric. However, most adversarial DG methods use 0-1 loss based $\mathcal{H}Δ\mathcal{H}$ divergence metric. In contrast, the margin loss-based discrepancy metric has the following advantages: more informative, tighter, practical, and efficiently optimizable. To mitigate this gap, this work proposes a novel adversarial learning DG algorithm, MADG, motivated by a margin loss-based discrepancy metric. The proposed MADG model learns domain-invariant features across all source domains and uses adversarial training to generalize well to the unseen target domain. We also provide a theoretical analysis of the proposed MADG model based on the unseen target error bound. Specifically, we construct the link between the source and unseen domains in the real-valued hypothesis space and derive the generalization bound using margin loss and Rademacher complexity. We extensively experiment with the MADG model on popular real-world DG datasets, VLCS, PACS, OfficeHome, DomainNet, and TerraIncognita. We evaluate the proposed algorithm on DomainBed's benchmark and observe consistent performance across all the datasets.

研究の動機と目的

• ドメインシフトの下で未 seen ターゲットドメインで良好に動作するようにドメイン一般化を動機付ける。
• 複数のソースドメインに跨るドメイン不変表現を学習するマージン損失ベースの対立学習フレームワーク（MADG）を提案する。
• マージン損失とラデマッハァ複雑さを介してソースと未知のドメインを結ぶ理論的分析を提供する。
• 標準の DG データセットと DomainBed ベンチマーク（VLCS、PACS、OfficeHome、DomainNet、TerraIncognita）で MADG を実証的に検証する。

提案手法

• 対立学習設定内でマージン損失ベースの不一致指標を用い、ドメイン不変特徴を促進する。
• 0-1 損失ベースの HΔH 散逸ではなく、マージンベースの不一致に guided された対立目的でモデルを訓練する。
• マージン損失とラデマッハァ複雑さを用いて実数値仮説空間の未知ターゲット誤差の一般化境界を導出する。
• 実世界の DG データセットで MADG を評価し、DomainBed での性能をベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 マージン損失ベースの不一致は伝統的な 0-1 損失ベースの指標と比べてドメイン一般化を改善するだろうか。
• RQ2 MADG は複数の DG データセットと DomainBed ベンチマーク全体で一貫した改善を達成するか。
• RQ3 マージン損失フレームワーク下でのソースドメインと未知ターゲットドメインの理論的関係はどうなるか。
• RQ4 様々なドメインを跨ってドメイン不変特徴を学習する際、MADG は実践的にどのように機能するか。

主な発見

• MADG は VLCS、PACS、OfficeHome、DomainNet、TerraIncognita のデータセット全体で一貫した性能を示す。
• 未知のターゲットに対する一般化境界を、マージン損失とラデマッハァ複雑さに基づいて理論的に提供する。
• 経験的結果は、マージンベースの対立学習が DG タスクに対して効果的に最適化できることを検証する。
• MADG はソースドメイン間の特徴分布を対立的訓練で揃え、ターゲット一般化を改善する。