[論文レビュー] Co-regularized Alignment for Unsupervised Domain Adaptation

Abhishek Kumar, Prasanna Sattigeri+5 more|arXiv (Cornell University)|Nov 13, 2018

Domain Adaptation and Few-Shot Learning被引用数 118

ひとこと要約

本論文では、ソースとターゲットの分布を整合させる2つの多様な特徴空間を用い、それらのターゲット予測の一致を強制することで教師なしドメイン適応の性能を向上させるCo-DA（コ-正則化ドメイン整列）を提案する。

ABSTRACT

Deep neural networks, trained with large amount of labeled data, can fail to generalize well when tested with examples from a \emph{target domain} whose distribution differs from the training data distribution, referred as the \emph{source domain}. It can be expensive or even infeasible to obtain required amount of labeled data in all possible domains. Unsupervised domain adaptation sets out to address this problem, aiming to learn a good predictive model for the target domain using labeled examples from the source domain but only unlabeled examples from the target domain. Domain alignment approaches this problem by matching the source and target feature distributions, and has been used as a key component in many state-of-the-art domain adaptation methods. However, matching the marginal feature distributions does not guarantee that the corresponding class conditional distributions will be aligned across the two domains. We propose co-regularized domain alignment for unsupervised domain adaptation, which constructs multiple diverse feature spaces and aligns source and target distributions in each of them individually, while encouraging that alignments agree with each other with regard to the class predictions on the unlabeled target examples. The proposed method is generic and can be used to improve any domain adaptation method which uses domain alignment. We instantiate it in the context of a recent state-of-the-art method and observe that it provides significant performance improvements on several domain adaptation benchmarks.

研究の動機と目的

• 教師なしドメイン適応におけるクラス条件付き分布のずれを動機づけ、対処する。
• 複数の多様な特徴空間を作成し、ターゲット予測の一致を強制するためのコ-正則化されたドメイン整列を提案する。
• コ-正則化が標準的なDAベンチマークで最先端の成果を改善することを示す。
• 既存のドメイン適応フレームワーク内でCo-DAの実装例を提供し、性能向上を実証する。

提案手法

• 2つの多様な特徴生成器 g1 と g2（対応する分類器 h1 と h2 を伴う）を構築し、2つの予測 f1 = h1∘g1 および f2 = h2∘g2 を形成する。
• 各ビューについて、ソース予測損失とドメイン整列損失を最小化する: Ly(fi; Ps) + Ld(gi#Ps, gi#Pt).
• ラベルなしターゲットデータ上で f1 と f2 の L1 距離を最小化してターゲット予測の一致を促進する: Lp(f1,f2; Pt).
• ソースミニバッチの平均を ν の上限内で離す多様性項 Dg(g1,g2) を用いて g1 と g2 の多様性を促進する。
• 学習を安定化させるため、条件エントロピー最小化と仮想対向トレーニング（VAT）をソースとターゲットの両方に適用してクラスター仮定を取り入れる。
• ドメイン整列に Jensen-Shannon 発散を用い、VAT による正則化で頑健性を高める実装例を提供する。

実験結果

リサーチクエスチョン

• RQ1 複数の多様な特徴空間にまたがるコ-正則化された整列は、教師なしドメイン適応における誤ったクラス条件の整列を減らすことができるか。
• RQ2 複数のターゲット予測器間の一致を強制することは、単一ビューのドメイン整列法を上回るターゲットドメインの精度を向上させるか。
• RQ3 特徴空間間の多様性を明示的に促進することが、整列の質と予測性能に与える影響は？
• RQ4 標準的な DA ベンチマークにおける Co-DA の性能は、最先端手法（例: VADA）と比較してどうか？
• RQ5 DIRT-T などのリファインメント手法と組み合わせた場合に Co-DA は利点を提供するか？

主な発見

• Co-DA は難易度の高い MNIST→SVHN において VADA より大きな改善をもたらし、ターゲットドメインのテスト精度は約 81.7% に達する。
• Instancenormalization なしの MNIST→SVHN では、VADA の 47.5% から Co-DA の 52.0%、bn 変種で 55.3% に改善し、インスタンス正規化を用いると DIRT-T により約 88% に精製される。
• SVHN→MNIST および MNIST→MNIST-M では、Co-DA は VADA より一貫して改善を示し、インスタンス正規化を用いるとより大きな改善が見られる。
• ドメイン整列の多様性を備えた Co-DA bn および 2 分岐構成の Co-DA は、いくつかのベンチマークで単一分岐の対応より優れている。
• Co-DA と DIRT-T の組み合わせは、データ拡張がない設定を含むいくつかのタスクで最先端の結果をもたらす。