[論文レビュー] Domain Agnostic Learning with Disentangled Representations

Xingchao Peng, Zijun Huang+2 more|arXiv (Cornell University)|Apr 28, 2019

Domain Adaptation and Few-Shot Learning被引用数 137

ひとこと要約

本論文は Domain-Agnostic Learning (DAL) と Deep Adversarial Disentangled Autoencoder (DADA) を提案し、ドメイン不変、ドメイン固有、クラス不関連特徴を分離して、ラベル付きソースからラベルなしの混在ターゲットドメインへの知識移転を可能にし、いくつかのデータセットで最先端の結果を達成します。

ABSTRACT

Unsupervised model transfer has the potential to greatly improve the generalizability of deep models to novel domains. Yet the current literature assumes that the separation of target data into distinct domains is known as a priori. In this paper, we propose the task of Domain-Agnostic Learning (DAL): How to transfer knowledge from a labeled source domain to unlabeled data from arbitrary target domains? To tackle this problem, we devise a novel Deep Adversarial Disentangled Autoencoder (DADA) capable of disentangling domain-specific features from class identity. We demonstrate experimentally that when the target domain labels are unknown, DADA leads to state-of-the-art performance on several image classification datasets.

研究の動機と目的

• ターゲットデータがドメインラベルを持たない複数のドメイン出身である場合のドメインシフトに対処する。
• ドメイン不変の特徴を学習しつつ、ドメイン固有情報とクラス関連ではない情報を取り除く。
• 相互情報の最小化と対敵的トレーニングを通じて分離を強化する。
• クラスの分離がドメイン適応性能を向上させることを示す。
• DALプロトコルの標準的な画像分類ベンチマークで最先端の結果を示す。

提案手法

• Deep Adversarial Disentangled Autoencoder (DADA) を導入し、特徴をドメイン不変、ドメイン固有、クラス関連なしの成分に分割する。
• 分離と再構成のための Variational Autoencoder (VAE) ベースのエンコーダ/デコーダフレームワークを使用する。
• クラス分離は、ソース上でラベルを予測するクラス識別子を用いた対敵構成 (L_ent) により行い、分離子はそれを欺く。
• ドメイン分離は潜在空間でソースとターゲットを区別するドメイン識別子を用い、分離子を訓練してドメイン不変特徴を生成させる (L_DI)。
• (domain-invariant, domain-specific) と (domain-invariant, class-irrelevant) の間の相互情報を Mutual Information Neural Estimator (MINE) を用いて最小化する。
• 異種ドメイン間で埋め込みを安定させるためのリング状正規化を導入する（ring loss および GM variant）。
• Reconstruction (L_vae) と対敵/分離損失を含む交互最適化でエンドツーエンドに訓練し、(f_di, f_ds) または (f_di, f_ci) から G を回復する再構成メカニズムを用いる。

実験結果

リサーチクエスチョン

• RQ1 単一のラベル付きソースドメインからラベルなしの異質なターゲットドメインへ、ドメインラベルなしで知識を転移できるか。
• RQ2 ドメイン不変特徴をドメイン固有特徴とクラス関連ではない特徴から分離することで転送性能が改善されるか。
• RQ3 対敵的クラス分離と相互情報 minimization の組み合わせは、より優れたドメイン非依存表現を生み出すか。
• RQ4 アブレーション構成（クラス分離、ドメイン分離、リング損失、再構成）は性能にどのような影響を与えるか。
• RQ5 DADA は Digit-Five、Office-Caltech10、DomainNet などの標準的な DAL ベンチマークにどのような影響を与えるか。

主な発見

• DADA は Digit-Five、Office-Caltech10、DomainNet にまたがるいくつかのドメイン非依存学習タスクで最先端の性能を達成している。
• アブレーション研究は、クラス分離とドメイン分離の両方が性能向上に寄与し、リング損失と再構成を含む完全なモデルが最良の結果を提供することを示している。
• リング状正規化（ring loss）を取り入れることで性能が著しく向上し、DAL における安定した特徴正規化の重要性を示している。
• MINE による相互情報 minimization は分離を強化し、ソースと異質ターゲット間の整列を改善し、経験的に表れている。
• t-SNE の可視化は、DADA の特徴が UFDN や MCD などのベースラインよりも明確なクラス分離を生むことを示しており、ターゲットドメインでの識別性を高めている。
• 定量的分析は、DADA が学習された特徴のドメイン差異（A-距離）をベースラインと比べて低減し、ソースとターゲット分布をより効果的に整列させることを示している。