[論文レビュー] A DIRT-T Approach to Unsupervised Domain Adaptation

Rui Shu, Hung Bui+2 more|arXiv (Cornell University)|Feb 23, 2018

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 293

ひとこと要約

本論文は、クラスタ仮定を活用する2つのモデルVADAとDIRT-Tを導入し、複数の視覚的・非視覚的ベンチマークで最先端の結果を達成する。

ABSTRACT

Domain adaptation refers to the problem of leveraging labeled data in a source domain to learn an accurate model in a target domain where labels are scarce or unavailable. A recent approach for finding a common representation of the two domains is via domain adversarial training (Ganin & Lempitsky, 2015), which attempts to induce a feature extractor that matches the source and target feature distributions in some feature space. However, domain adversarial training faces two critical limitations: 1) if the feature extraction function has high-capacity, then feature distribution matching is a weak constraint, 2) in non-conservative domain adaptation (where no single classifier can perform well in both the source and target domains), training the model to do well on the source domain hurts performance on the target domain. In this paper, we address these issues through the lens of the cluster assumption, i.e., decision boundaries should not cross high-density data regions. We propose two novel and related models: 1) the Virtual Adversarial Domain Adaptation (VADA) model, which combines domain adversarial training with a penalty term that punishes the violation the cluster assumption; 2) the Decision-boundary Iterative Refinement Training with a Teacher (DIRT-T) model, which takes the VADA model as initialization and employs natural gradient steps to further minimize the cluster assumption violation. Extensive empirical results demonstrate that the combination of these two models significantly improve the state-of-the-art performance on the digit, traffic sign, and Wi-Fi recognition domain adaptation benchmarks.

研究の動機と目的

• ターゲットラベルが利用できず、単一の分類器がソース領域とターゲット領域の双方に一般化できない場合の共変動シフトに対処する。
• ドメイン適応にクラスタ仮定に基づく制約を組み込み、ドメイン対立訓練を超えて仮説空間を絞る。
• ターゲット領域のクラスタ仮定違反をさらに最小化する改良手順（DIRT-T）を開発する。
• デジット、交通標識、一般物体、Wi-Fi 活動認識など多様なタスクにおける経験的利得を示す。

提案手法

• Virtual Adversarial Domain Adaptation (VADA) を提案し、ドメイン対立訓練とクラスタ仮定違反のペナルティ、ターゲットデータ上の条件付きエントロピー損失を組み合わせる。
• Virtual Adversarial Training (VAT) による局所的リップシッツ制約を組み込み、エントロピー最小化を安定化させる。
• VADA で初期化し、Decision-boundary Iterative Refinement Training (DIRT-T) を実行して、自然勾配ステップを用いてターゲット領域のクラスタ違反をさらに最小化する。
• DIRT-T は教師-生徒フレームワークを用い、前のモデルを教師として更新を制約しつつターゲット側のクラスタ違反を低減する。
• DIRT-T を、ドメイン対立訓練がターゲット領域のみに対して純粋に refine する際には不要になる連続的で保守的でないドメイン適応ステップのシーケンスとして解釈できる。

実験結果

リサーチクエスチョン

• RQ1 conditional entropy 最小化を通じたクラスタ仮定の enforcing は、ドメイン対立訓練を超えてドメイン適応を改善するか。
• RQ2 初期の VADA モデルの後に、ターゲット領域のクラスタ違反を最小化する改良手続きは性能をさらに向上させるか。
• RQ3 VAT と局所リップシッツ制約は、ドメイン適応におけるエントロピーベースのクラスタリングの安定性と有効性にどのように影響するか。
• RQ4 VADA と DIRT-T の、数字・交通標識・CIFAR/STL-10・Wi-Fi など多様なドメイン適応ベンチマークでの経験的利得はどれほどか。

主な発見

• VADA はクラスタ仮定のペナルティと VAT を組み込むことで、従来のドメイン対立手法より改善され、複数のベンチマークで強力な改善を達成する。
• DIRT-T はターゲット領域のクラスタ違反をさらに低減することで一貫して VADA を強化し、多くのタスクで最先端の結果を達成する。
• DIRT-T は挑戦的な MNIST から SVHN への適応において、いくつかの設定で ATT を上回る substantial なマージンで上回る。
• DIRT-T における自然勾配ステップは、決定境界の安定かつ効果的な refined に寄与する。
• Wi-Fi 活動認識全般において、VADA は Source-Only および DANN を大きく上回る；ターゲットクラスタリングが既に強い場合、DIRT-T が常に利をもたらすとは限らない。