[論文レビュー] Domain Generalisation via Domain Adaptation: An Adversarial Fourier Amplitude Approach

Minyoung Kim, Da Li+1 more|arXiv (Cornell University)|Feb 23, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、周波数成分の振幅を操作して悪化したターゲットドメインを合成することで、敵対的ドメイン適応としてドメイン一般化を定式化する新しいドメイン一般化手法AGFAを提案する。ソースドメインの位相と敵対的に訓練されたスタイル変更型周波数振幅を組み合わせ、ベイジアン最大分類器差分を活用することで、DomainBedおよびPACSベンチマークで最先端の性能を達成し、単一ソース一般化においては従来手法を最大で10%上回る。

ABSTRACT

We tackle the domain generalisation (DG) problem by posing it as a domain adaptation (DA) task where we adversarially synthesise the worst-case target domain and adapt a model to that worst-case domain, thereby improving the model's robustness. To synthesise data that is challenging yet semantics-preserving, we generate Fourier amplitude images and combine them with source domain phase images, exploiting the widely believed conjecture from signal processing that amplitude spectra mainly determines image style, while phase data mainly captures image semantics. To synthesise a worst-case domain for adaptation, we train the classifier and the amplitude generator adversarially. Specifically, we exploit the maximum classifier discrepancy (MCD) principle from DA that relates the target domain performance to the discrepancy of classifiers in the model hypothesis space. By Bayesian hypothesis modeling, we express the model hypothesis space effectively as a posterior distribution over classifiers given the source domains, making adversarial MCD minimisation feasible. On the DomainBed benchmark including the large-scale DomainNet dataset, the proposed approach yields significantly improved domain generalisation performance over the state-of-the-art.

研究の動機と目的

• ターゲットドメインデータが入手不可な状況におけるドメイン一般化（DG）を解決すること。この状況では、分布シフトの影響によりモデルが失敗することが多い。
• 訓練用に最も挑戦的であるが意味論的に妥当なターゲットドメインをシミュレートすることで、モデルのロバスト性を向上させること。
• ドメイン適応理論に裏付けられた原理的で敵対的なフレームワークを用いて、データ拡張とドメインアライメントを統合すること。
• 振幅（スタイル）と位相（意味論）に分離されたフーリエドメイン分解を活用し、意味論を保持したままのデータ合成を実現すること。
• 意味的内容を損なわせることなく、最悪のケースのターゲットデータに対する効果的な敵対的訓練を可能にすること。

提案手法

• 本手法は、フーリエ振幅合成を用いて最悪のターゲットドメインを生成することで、ドメイン一般化を敵対的ドメイン適応として定式化する。
• フーリエ振幅が画像のスタイルを制御し、位相が意味論を保持するという仮説を活用し、意味論の変更を伴わずにスタイル転送を実現する。
• 変分ベイジアンアプローチにより、分類器の仮説空間を事後分布としてモデル化し、効率的な最大分類器差分（MCD）最小化を可能にする。
• 敵対的ジェネレータを訓練し、MCDを最大化するフーリエ振幅画像を生成することで、最も挑戦的なターゲットドメインをシミュレートする。
• 分類器は、合成された最悪のドメイン上でMCDを最小化するように同時に訓練され、ロバスト性が向上する。
• 本フレームワークは、振幅ジェネレータの敵対的訓練と、分類器の不確実性のベイジアンモデリングを組み合わせることで、安定的かつ汎用性の高い適応を実現する。

Figure 1: Overall training flow of the proposed approach (AGFA). We generate target-domain data by synthesizing Fourier amplitude images trained adversarially. See main text in Sec. 3 for details.

実験結果

リサーチクエスチョン

• RQ1 実際のターゲットデータが入手不可な状況でも、最悪のターゲットドメインを効果的にシミュレートできるか？
• RQ2 フーリエ振幅に基づくデータ拡張は、意味論的内容を保持しつつ、挑戦的なスタイル変化を導入できるか？
• RQ3 分類器の仮説空間のベイジアンモデリングにより、DG設定において効果的な最大分類器差分最小化が可能か？
• RQ4 最悪のドメインを敵対的に合成することで、多様なベンチマークで一般化性能が向上するか？
• RQ5 本手法は、標準的および単一ソースドメイン一般化設定において、最先端手法と比較してどのように差をつけるか？

主な発見

• ResNet-18バックボーンを用いたDomainBedベンチマークでは、AGFAは平均正解率73.8%を達成し、以前のSOTA手法（MMD）を0.5%上回った。
• 大規模なDomainNetデータセットでは、AGFAは最先端の性能を達成し、多様なドメインシフトに対して高いロバスト性を示した。
• ResNet-18を用いたPACSにおける単一ソース一般化設定では、AGFAは最良の先行手法（EFDMix）を平均正解率で10.2ポイント上回った。
• ResNet-50を用いた場合、AGFAは平均正解率68.7%を達成し、EFDMixを7.5ポイント上回った。
• 可視化解析により、フーリエベースで生成された画像は、ピクセルベースのジェネレータが生成するランダムノイズとは異なり、顕著な意味論的エッジを保持していることが確認された。
• アブレーションスタディの結果、ベイジアンMCDとフーリエ振幅合成の組み合わせが性能に不可欠であり、各要素がロバスト性向上に顕著に寄与していることが示された。

Figure 2: Illustration of the SMCD loss on three different hypothesis spaces $\mathcal{H}_{|S}$ shown in three panels. For $C=3$ -way classification case, each panel shows the class logit scores (Gaussian random) $f_{j}(x)\sim\mathcal{N}(\mu_{j}(x),\sigma_{j}(x)^{2})$ for $j=1,2,3$ , at some input $