[論文レビュー] Adversarial Domain Adaptation with Domain Mixup

Minghao Xu, Jian Zhang+5 more|arXiv (Cornell University)|Dec 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 8

ひとこと要約

本論文では、ピクセルレベルおよび特徴量レベルでのドメインミックスアップを導入し、ソフトラベルと三重損失を用いてより連続的なドメイン不変潜在空間を形成することで、敵対的訓練を強化するDM-ADAというドメイン適応手法を提案する。この手法は、ドメイン判別器の一般化性能と特徴量のロバスト性を向上させることで、特に高いドメインシフト下でもVisDA-2017およびOffice-31ベンチマークで最先端の性能を達成する。

ABSTRACT

Recent works on domain adaptation reveal the effectiveness of adversarial learning on filling the discrepancy between source and target domains. However, two common limitations exist in current adversarial-learning-based methods. First, samples from two domains alone are not sufficient to ensure domain-invariance at most part of latent space. Second, the domain discriminator involved in these methods can only judge real or fake with the guidance of hard label, while it is more reasonable to use soft scores to evaluate the generated images or features, i.e., to fully utilize the inter-domain information. In this paper, we present adversarial domain adaptation with domain mixup (DM-ADA), which guarantees domain-invariance in a more continuous latent space and guides the domain discriminator in judging samples' difference relative to source and target domains. Domain mixup is jointly conducted on pixel and feature level to improve the robustness of models. Extensive experiments prove that the proposed approach can achieve superior performance on tasks with various degrees of domain shift and data complexity.

研究の動機と目的

• 既存の敵対的ドメイン適応手法がハードラベルに依存しており、連続的なドメイン不変表現を保証できないという限界を是正すること。
• ハードラベルではなくソフトスコアを用いることで、ドメイン判別器がソースドメインおよびターゲットドメインのサンプル類似度をより的確に評価できるようにすること。
• ピクセルレベルおよび特徴量レベルでソースおよびターゲットサンプルを混合することで、クロスドメイン間の特徴パターンを豊かにすること。
• 複雑なデータ分布および高いドメインシフト下でもモデルの一般化性能とロバスト性を向上させること。

提案手法

• ミックスアップ比λを用いて、ソースドメインおよびターゲットドメインの画像を線形補間することでピクセルレベルでのドメインミックスアップを導入する。
• 両ドメインからの深層特徴量を補間することで、中間の潜在表現を生成する特徴量レベルのミックスアップを適用する。
• ドメイン判別器の監督としてソフトラベル（すなわち、ミックスアップ比）を用い、ハードラベル（0/1）ではなく確率スコアを出力可能にする。
• 柔軟なマージンを備えた三重損失を用いて、ミックスアップサンプルとソース／ターゲットドメイン間の相対的ドメイン差を学習するようにドメイン判別器をガイドする。
• ドメインアライメント中にクラス情報を保持するために、分類分岐（D_cls）と疑似ターゲットラベルを組み込む。
• 特徴量抽出器、ドメイン判別器、分類ヘッドを同時に最適化するGANベースのフレームワークを用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルおよび特徴量レベルでのドメインミックスアップは、潜在空間におけるドメイン不変表現の連続性を向上させることができるか？
• RQ2 ハードラベルの代わりにミックスアップ比（ソフトラベル）を用いることで、ドメイン判別器のドメイン差の区別能力が向上するか？
• RQ3 柔軟なマージンを備えた三重損失は、ドメイン判別器の収束性および性能をどのように改善するか？
• RQ4 ピクセルおよび特徴量レベルのミックスアップを併用することで、高いドメインシフトおよび複雑なデータ分布下での一般化性能はどの程度向上するか？
• RQ5 提案手法はハイパーパrameter ωおよびφに対してどれほど感度を示すか？また、これらのパrameterは全タスクに共通の固定値に設定可能か？

主な発見

• VisDA-2017ベンチマークにおいて、DM-ADAはすべての適応手法の中で最高の分類精度を達成し、画像分類のImageNet事前学習済みResNet-101ベースラインを著しく上回った。
• 特徴量レベルのミックスアップのみでも、より連続的なドメイン不変潜在空間を形成することで性能が向上するが、ピクセルレベルのミックスアップを追加することで、ドメイン判別器が洗練されたソフトスコアを出力できるようになり、さらに結果が向上した。
• 三重損失とドメインミックスアップの組み合わせにより、t-SNE可視化で最も明確なクラス分離が得られ、特徴量の分離性が向上していることが示された。
• 分類分岐（D_cls）と疑似ターゲットラベルの追加により、精度が1.7%向上した。これは、クラスに依存するドメインアライメントを維持する有効性を示している。
• 本手法はハイパーパrameterの変動に対して頑健であり、すべてのOffice-31タスクでω ≈ 0.1およびφ ≈ 0.01の条件下で安定した性能を示した。
• 感度分析の結果、ωおよびφの広い範囲においても転移性能が安定しており、実用的なハイパーパrameterチューニングの容易さが確認された。