[論文レビュー] Domain-Invariant Adversarial Learning for Unsupervised Domain Adaption

Yexun Zhang, Ya Zhang+2 more|arXiv (Cornell University)|Nov 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 14

ひとこと要約

本稿では、敵対的学習、センター損失、および条件付き分布整合化を用いて、ドメイン不変で判別可能な特徴を学習する、一様なモデルであるドメイン不変敵的学習（DIAL）を提案する。この手法は、推論時にドメイン知識を必要とせず、複数の教師なしドメイン適応ベンチマークで最先端の性能を達成する。

ABSTRACT

Unsupervised domain adaption aims to learn a powerful classifier for the target domain given a labeled source data set and an unlabeled target data set. To alleviate the effect of `domain shift', the major challenge in domain adaptation, studies have attempted to align the distributions of the two domains. Recent research has suggested that generative adversarial network (GAN) has the capability of implicitly capturing data distribution. In this paper, we thus propose a simple but effective model for unsupervised domain adaption leveraging adversarial learning. The same encoder is shared between the source and target domains which is expected to extract domain-invariant representations with the help of an adversarial discriminator. With the labeled source data, we introduce the center loss to increase the discriminative power of feature learned. We further align the conditional distribution of the two domains to enforce the discrimination of the features in the target domain. Unlike previous studies where the source features are extracted with a fixed pre-trained encoder, our method jointly learns feature representations of two domains. Moreover, by sharing the encoder, the model does not need to know the source of images during testing and hence is more widely applicable. We evaluate the proposed method on several unsupervised domain adaption benchmarks and achieve superior or comparable performance to state-of-the-art results.

研究の動機と目的

• 教師なしドメイン適応におけるドメインシフト問題に対処するため、ドメイン不変で判別可能な特徴表現を学習すること。
• ソースドメインとターゲットドメインの両方に共通のエンコーダを用いることで、推論時にドメイン固有のエンコーダやドメイン知識を必要としないようにすること。
• ラベル付きソースデータにセンター損失を適用することで、特徴の判別性を向上させること。
• ターゲットドメインの疑似ラベルを用いて、ソースとターゲットドメイン間の条件付き分布を整合化することで、ターゲットドメインにおける特徴クラスタリングを強化すること。
• 適応の過程でソース特徴を固定するのではなく、両ドメインの表現を同時に学習すること。

提案手法

• ソースドメインとターゲットドメインの両方で共通のエンコーダを用い、敵対的学習によりドメイン不変な特徴を生成する。
• 敵対的ディスクラミネータを訓練して、ソースとターゲットの特徴を区別させ、エンコーダがドメインに依存しない表現を生成するように促進する。
• ソース特徴にセンター損失を適用することで、クラス固有のクラスタがより密になり、判別力が向上するようにする。
• ターゲットドメインの疑似ラベルを用いて、$P(X|\hat{Y})$ のようなクラス条件付き分布を整合化することで、条件付き分布整合化を達成する。
• 分類損失、ドメイン敵対的損失、センター損失、および条件付き分布整合化損失を同時に最適化する。
• 学習目的は、$\mathcal{L}_s$（分類）、$\mathcal{L}_{GAN}$（敵対的）、$\mathcal{L}_{cs}$（センター損失）、$\mathcal{L}_{ct}$（条件付き整合化）の組み合わせで構成される。

実験結果

リサーチクエスチョン

• RQ1 教師なしドメイン適応において、1つの共有エンコーダがソースドメインとターゲットドメインの両方でドメイン不変な特徴を効果的に学習できるか？
• RQ2 ラベル付きソースデータにセンター損失を組み込むことで、特徴の判別性とターゲットドメインへの一般化性能が向上するか？
• RQ3 ターゲットドメインの疑似ラベルを用いた条件付き分布整合化により、誤分類が減少し、特徴のクラスタリングが向上するか？
• RQ4 ソースとターゲットの表現を同時に最適化する方法と、ソース特徴を固定する方法とを比較すると、性能にどのような差が出るか？
• RQ5 提案手法は、ソースドメインの性能を維持しながら、ターゲットドメインの性能を向上させることができるか？

主な発見

• DIALモデルは、SVHN → MNISTベンチマークで89.29%のテスト精度を達成し、以前の最先端手法を上回った。
• USPS → MNISTベンチマークでも84.48%の精度を達成し、ドメインシフトに強い一般化性能を示した。
• アブレーションスタディの結果、センター損失（$\mathcal{L}_{cs}$）と条件付き整合化（$\mathcal{L}_{ct}$）を追加することで、性能が78.35%から89.29%に顕著に向上した。
• t-SNE可視化により、敵対的学習後、ソースドメインとターゲットドメインの特徴が区別できなくなる一方で、センター損失によりクラスクラスタがより密になり、条件付き整合化によりより正確なクラスタリングが達成された。
• 適応前後でソースドメインの性能はほぼ同一（96.40 vs. 96.29）を維持しており、ソースドメインでの性能劣化がないことが確認された。
• 共有エンコーダ設計により、推論時にドメイン情報が不要となり、実用的応用性が向上した。