[論文レビュー] Dual Mixup Regularized Learning for Adversarial Domain Adaptation

Yuan Wu, Diana Inkpen+1 more|arXiv (Cornell University)|Jul 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 14

ひとこと要約

本稿では、画素レベルでのカテゴリレベルおよびドメインレベルのミックスアップ正則化を適用することで、敵対的ドメイン適応を強化する、新しい非教師付きドメイン適応手法であるデュアルミックスアップ正則化学習（DMRL）を提案する。予測の一貫性を強制し、潜在空間の構造を豊かにすることで、4つのベンチマークにおいて最先端の性能を達成し、USPS→MNISTでは99.0%、MNIST→USPSでは96.1%の精度を達成した。

ABSTRACT

Recent advances on unsupervised domain adaptation (UDA) rely on adversarial learning to disentangle the explanatory and transferable features for domain adaptation. However, there are two issues with the existing methods. First, the discriminability of the latent space cannot be fully guaranteed without considering the class-aware information in the target domain. Second, samples from the source and target domains alone are not sufficient for domain-invariant feature extracting in the latent space. In order to alleviate the above issues, we propose a dual mixup regularized learning (DMRL) method for UDA, which not only guides the classifier in enhancing consistent predictions in-between samples, but also enriches the intrinsic structures of the latent space. The DMRL jointly conducts category and domain mixup regularizations on pixel level to improve the effectiveness of models. A series of empirical studies on four domain adaptation benchmarks demonstrate that our approach can achieve the state-of-the-art.

研究の動機と目的

• 予測の不一致を引き起こす可能性がある、ターゲットドメイン適応におけるクラスに敏感な情報の欠如に対処する。
• ミニバッチSGDにおける小さなバッチサイズによるドメイン不変表現の不足という制限を克服する。
• 潜在空間の判別性と連続性を向上させ、非教師付きドメイン適応におけるドメインシフトを低減する。
• カテゴリとドメインのミックスアップを共同で活用することで、特徴の内因的構造を豊かにし、モデルの一般化を向上させる。
• 効果的な正則化を通じて、複数の非教師付きドメイン適応ベンチマークで最先端の性能を達成する。

提案手法

• ソースドメインおよびターゲットドメインの両方でカテゴリレベルのミックスアップ正則化を適用し、予測の一貫性を強制し、潜在空間の判別性を向上させる。
• ドメインレベルのミックスアップ正則化を実装し、各ドメイン内で混合サンプルを生成することで、内部特徴パターンを豊かにし、ドメイン不変表現を促進する。
• 両方のミックスアップ正則化を画素レベルで実施し、空間構造を保持しながらトレーニングデータを拡張する。
• 2つの正則化項を、ドメイン識別器と特徴抽出器を備えた統一された敵対的トレーニングフレームワークに統合する。
• 最適化中にミックスアップ損失と敵対的損失のバランスを取るために、学習可能なハイパーパrameter λs、λr、λt、および α を使用する。
• 特徴抽出器とドメイン識別器の間でミニマックスゲームを実行しながら、ミックスアップを適用して特徴の一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 カテゴリレベルのミックスアップ正則化は、非教師付きドメイン適応における潜在空間の判別性を向上させることができるか？
• RQ2 ドメインレベルのミックスアップ正則化は、潜在空間の連続性とドメイン不変性を向上させることができるか？
• RQ3 2つのミックスアップ正則化はどのように作用し合い、ドメインシフトを低減し、一般化を向上させるか？
• RQ4 ラベルなしターゲットドメインからのクラスに敏感な情報は、モデル性能にどのような影響を与えるか？
• RQ5 α、λs、λr、λt といったハイパーパrameterの設定に、提案手法はどれほど感受性を示すか？

主な発見

• DMRLはUSPS→MNISTベンチマークで99.0%の精度を達成し、比較されたすべての手法を上回った。
• MNIST→USPSタスクでは96.1%の精度に達し、ドメインシフトに強い一般化性能を示した。
• アブレーションスタディの結果、カテゴリミックスアップとドメインミックスアップ正則化の両方が顕著に寄与しており、特にカテゴリミックスアップの影響が大きいことが確認された。
• ラベルなしカテゴリミックスアップ（UCM）を除去すると性能が著しく低下し、ターゲットドメインのクラスに敏感な情報の重要性が浮き彫りになった。
• パラメータ感受性分析の結果、λt が性能に強く影響を与え、最適な精度は λt=2.0 の際に得られた。
• α、λs、λr については感受性が低く、α=0.2、λs=0.0001、λr=0.00001 とデフォルト値を設定することで安定した性能を発揮した。