[論文レビュー] Learning a Domain-Invariant Embedding for Unsupervised Domain Adaptation Using Class-Conditioned Distribution Alignment

Alex Gabourie, Mohammad Rostami+3 more|arXiv (Cornell University)|Jul 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 5

ひとこと要約

本稿では、共有特徴空間におけるソースドメインとターゲットドメインの分布間のスライスド・ワーサーテイン距離（SWD）を最小化することでドメイン不変埋め込み空間を学習し、同時にターゲットドメインの高信頼度の偽ラベルを用いてクラス条件付きのアライメントを強制することで、非教師ありドメイン適応のための新規手法を提案する。本手法は、SWDを用いた段階的でクラスに特化した分布アライメントと、判別的特徴学習を組み合わせることで、ベンチマークU既是なタスクで最先端の性能を達成する。

ABSTRACT

We address the problem of unsupervised domain adaptation (UDA) by learning a cross-domain agnostic embedding space, where the distance between the probability distributions of the two source and target visual domains is minimized. We use the output space of a shared cross-domain deep encoder to model the embedding space anduse the Sliced-Wasserstein Distance (SWD) to measure and minimize the distance between the embedded distributions of two source and target domains to enforce the embedding to be domain-agnostic.Additionally, we use the source domain labeled data to train a deep classifier from the embedding space to the label space to enforce the embedding space to be discriminative.As a result of this training scheme, we provide an effective solution to train the deep classification network on the source domain such that it will generalize well on the target domain, where only unlabeled training data is accessible. To mitigate the challenge of class matching, we also align corresponding classes in the embedding space by using high confidence pseudo-labels for the target domain, i.e. assigning the class for which the source classifier has a high prediction probability. We provide experimental results on UDA benchmark tasks to demonstrate that our method is effective and leads to state-of-the-art performance.

研究の動機と目的

• ターゲットドメインにおけるラベル付きデータの不足に取り組むために、ラベル付きソースドメインから知識を転送する。
• ソースドメインとターゲットドメインの分布の差を最小化する共有埋め込み空間を学習し、ラベルなしターゲットデータへの一般化を向上させる。
• 高信頼度の偽ラベルを用いたクラス条件付きの分布アライメントにより、ドメイン適応におけるクラスマッチング問題を克服する。
• 従来のGANベースのドメイン適応手法の代替として、効率的で敵対的でない手法を提供する。
• ドメイン不変性と分類精度を同時に最適化することで、ターゲットドメインにおけるモデルの一般化性能を向上させる。

提案手法

• 共有ディープエンコーダーが、ソースドメインおよびターゲットドメインのデータを共有埋め込み空間にマップすることで、ドメイン間の分布アライメントを可能にする。
• 埋め込み空間におけるソースドメインとターゲットドメインの分布の差を最小化するために、微分可能で効率的な指標としてスライスド・ワーサーテイン距離（SWD）が用いられる。
• ラベル付きソースデータ上でディープ分類器を訓練することで、埋め込み空間がソースクラスに対して判別的であることを保証する。
• ソース分類器の予測に基づき、ターゲットドメインのサンプルに高信頼度の偽ラベルを割り当てることで、クラス条件付きの分布アライメントを可能にする。
• アルゴリズムは反復的に偽ラベルを精緻化し、分類器の信頼度が向上するに従ってクラス条件付きの分布をアライメントする。
• 訓練手順は、SWDを用いたエンコーダーのドメイン不変性最適化と、ソースドメインの精度を向上させる分類器の最適化を交互に繰り返すことで、効果的な知識転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 共有埋め込み空間におけるソースドメインとターゲットドメインの分布間のスライスド・ワーサーテイン距離を最小化することで、非教師ありドメイン適応におけるドメイン一般化が向上するか？
• RQ2 明示的なクラス対応を用いずに、非教師ありドメイン適応におけるクラスマッチングを効果的にどのように解決できるか？
• RQ3 高信頼度の偽ラベルを用いた段階的でクラスに特化した分布アライメントは、直接的なドメイン分布アライメントと比較して性能を向上させるか？
• RQ4 敵対的でないSWDベースの手法は、U既是なベンチマークで最先端の敵対的ドメイン適応技術を上回ることができるか？
• RQ5 提案手法は、ドメイン適応を用いないベースラインモデルに対してどの程度性能を向上させるか？

主な発見

• 提案手法は、Office-Home、DomainNet、VisDA-2017を含む複数のU既是なベンチマークタスクで、最先端またはほぼ最先端の性能を達成する。
• OPDA や MML といった直接的な分布アライメント手法と比較して、著しく優れた性能を示し、クラス条件付きアライメントの利点を実証する。
• 表Iに示すように、評価されたタスクのうち2つを除き、すべてのタスクで統計的に有意な性能向上を達成する。
• アブレーションスタディにより、提案された訓練スキームによって有効なドメイン間知識転送が実現されていることが確認される。
• 図2のt-SNE可視化では、埋め込み空間におけるソースおよびターゲットクラスの分布が段階的にアライメントされていることが示され、モデルが判別的でドメイン不変な特徴を学習できていることが裏付けられる。
• ソースドメインのみでDRCNネットワークを用いたベースライン性能はすでに競争力があるが、提案手法により知識転送によって顕著に向上する。