[論文レビュー] Domain-Symmetric Networks for Adversarial Domain Adaptation

Yabin Zhang, Hui Tang+2 more|arXiv (Cornell University)|Apr 9, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 40

ひとこと要約

Domain-Symmetric Networks（SymNets）を用いた教師なしドメイン適応。対称的なソース/ターゲット分類器と共有の補助分類器を用いて、二段階のドメイン混乱とクロスドメイン学習を通じて結合特徴-カテゴリ分布を整合させる。

ABSTRACT

Unsupervised domain adaptation aims to learn a model of classifier for unlabeled samples on the target domain, given training data of labeled samples on the source domain. Impressive progress is made recently by learning invariant features via domain-adversarial training of deep networks. In spite of the recent progress, domain adaptation is still limited in achieving the invariance of feature distributions at a finer category level. To this end, we propose in this paper a new domain adaptation method called Domain-Symmetric Networks (SymNets). The proposed SymNet is based on a symmetric design of source and target task classifiers, based on which we also construct an additional classifier that shares with them its layer neurons. To train the SymNet, we propose a novel adversarial learning objective whose key design is based on a two-level domain confusion scheme, where the category-level confusion loss improves over the domain-level one by driving the learning of intermediate network features to be invariant at the corresponding categories of the two domains. Both domain discrimination and domain confusion are implemented based on the constructed additional classifier. Since target samples are unlabeled, we also propose a scheme of cross-domain training to help learn the target classifier. Careful ablation studies show the efficacy of our proposed method. In particular, based on commonly used base networks, our SymNets achieve the new state of the art on three benchmark domain adaptation datasets.

研究の動機と目的

• 教師なしドメイン適応を動機づけ、ドメイン間の特徴とカテゴリの結合分布の整合を改善する。
• カテゴリレベルおよびドメインレベルの混乱を可能にする、共有補助コンポーネントを備えた対称的なネットワークアーキテクチャを提案する。
• ドメインとカテゴリの両方のレベルで特徴をドメイン不変に高める二段階の対向学習目的を開発する。
• ソースドメインの分類器をミラーリングするターゲットドメイン分類器を学習するため、クロスドメイン学習を組み込む。
• アプローチを実証的に検証し、ベンチマークデータセットで最先端の性能を示す。

提案手法

• SymNetを2つの並列ソース/ターゲット分類器CsとCt、さらに両方とニューロンを共有する追加の共有分類器Cstを提案する。
• 標準のクロスエントロピー損失を用いてラベル付きソースデータ上でCsを訓練する；ソースラベルを用いたクロスドメイン監督を介してCsと対応を確立するCtを訓練する。
• Cstを用いてドメイン識別とドメイン混乱を、ソースドメインとターゲットドメインの予測を分離する2方向のクロスエントロピー損失を通じて実行する。
• 二段階のドメイン混乱を導入する：カテゴリレベル混乱（ラベル付きソースデータを用いてカテゴリレベルの不変性を強制）とドメインレベル混乱（ラベルなしターゲットデータを用いてドメイン分布を整合）。”
• 特徴抽出器Gの更新を回避しつつ自信のあるターゲティングを促すエントロピー最小化項を導入する；これをGの更新にのみ適用する。
• これらの成分を統合して、分類器Cs、Ct、Cstと特徴抽出器Gを訓練する統一目的を構成する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン間の特徴とカテゴリの結合分布の整合は、特徴レベルの整合を超えて教師なしドメイン適応を改善できるか。
• RQ2 補助共有分類器を備えた対称アーキテクチャは、ターゲット性能を向上させるカテゴリレベルおよびドメインレベルの混乱を効果的に可能にするか。
• RQ3 カテゴリレベル混乱とドメインレベル混乱の損失は、より転移可能な特徴の学習にどのように寄与するか。
• RQ4 ターゲットラベルなしで競争力のあるターゲットドメイン分類器を訓練するために、クロスドメイン監督は有効か。
• RQ5 二段階混乱フレームワークにおけるエントロピー最小化が収束と性能に与える影響は何か。

主な発見

手法	A -> W	D -> W	W -> D	A -> D	D -> A	W -> A	平均
SymNets	90.8	98.8	100.0	93.9	74.6	72.5	88.4

• SymNetsは50層のResNetバックボーンを前提とした場合、Office-31、ImageCLEF-DA、Office-Homeのベンチマークで最先端の正確さを達成する。
• Office-31では、六つのタスクで平均正確度88.4%を達成し、いくつかの従来法を上回る。
• ImageCLEF-DAでは平均正確度を89.9%に改善し、競合法を上回る。
• Office-Homeでは平均正確度67.6%を達成し、多くのベースラインを上回り、難易度の高いデータセットで頑健性を示す。
• アブレーション研究により、ドメイン混乱、カテゴリレベル混乱、エントロピー最小化の組み合わせが性能向上に寄与し、クロスドメイン監督（E task^t）が強力なターゲット分類器の学習に不可欠であることが示される。
• t-SNEビジュアルは、SymNetsがベースラインと比較してよりコンパクトでドメイン整合された特徴分布を示すことを示唆する。