[論文レビュー] Maximum Classifier Discrepancy for Unsupervised Domain Adaptation

Kuniaki Saito, Kohei Watanabe+2 more|arXiv (Cornell University)|Dec 7, 2017

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 143

ひとこと要約

本論文は、教師なしドメイン適応のために、ターゲットサンプル上の不一致を最大化する2つのタスク特化型分類器を用い、生成器がこの不一致を最小化してターゲット特徴をソースサポートと整合させる識別的な敵対的手法を紹介する。

ABSTRACT

In this work, we present a method for unsupervised domain adaptation. Many adversarial learning methods train domain classifier networks to distinguish the features as either a source or target and train a feature generator network to mimic the discriminator. Two problems exist with these methods. First, the domain classifier only tries to distinguish the features as a source or target and thus does not consider task-specific decision boundaries between classes. Therefore, a trained generator can generate ambiguous features near class boundaries. Second, these methods aim to completely match the feature distributions between different domains, which is difficult because of each domain's characteristics. To solve these problems, we introduce a new approach that attempts to align distributions of source and target by utilizing the task-specific decision boundaries. We propose to maximize the discrepancy between two classifiers' outputs to detect target samples that are far from the support of the source. A feature generator learns to generate target features near the support to minimize the discrepancy. Our method outperforms other methods on several datasets of image classification and semantic segmentation. The codes are available at \url{https://github.com/mil-tokyo/MCD_DA}

研究の動機と目的

• タスク固有の決定境界を無視するドメイン分類器ベースの分布整合の限界を動機づけて解決する。
• タスク特化分類器を識別子として活用し、ソースサポートの外にあるターゲットサンプルを検出する新しい敵対的フレームワークを提案する。
• ターゲットデータ上の分類器の不一致を最大化し、特徴生成を通じてそれを最小化する訓練手順を交互に開発する。
• ドメインラベルを使用せず、画像分類とセマンティックセグメンテーションのタスクで有効性を示す。

提案手法

• 特徴生成器 G と、G の特徴から K クラス予測を出力する2つのタスク特化分類器 F1 および F2 を用いる。
• ターゲットサンプル x_t に対する不一致を d(p1(.|x_t), p2(.|x_t)) と定義し、d は2つの分類器出力確率のL1距離: d = (1/K) * sum_{k=1}^K |p1_k - p2_k|。
• ソースデータを正しく分類しながら、ターゲット特徴における不一致を最大化するようF1とF2を訓練する（Step B）。
• ターゲット特徴における不一致を最小化するよう生成器 G を訓練する（Step C）。
• Step A は、G, F1, F2 を共同訓練してソース分類損失を最小化することでソースデータに対して識別的特徴を確保する。
• ターゲットサンプルの不一致損失は |d(p1, p2)|、ここで p1, p2 は F1, F2 のソフトマックス出力。

実験結果

リサーチクエスチョン

• RQ1 タスク特化の意思決定境界を活用して、分布整合を超えた教師なしドメイン適応を改善できるか。
• RQ2 ターゲットデータ上で2つの分類器の不一致を最大化することは、ソースサポートの外にあるサンプルを特定し、特徴生成をソース分布へ戻すのに役立つか。
• RQ3 ディスクリペアンスベースの敵対的訓練が、数字認識、交通標識、物体分類、セマンティックセグメンテーションタスクの性能に与える影響は何か。

主な発見

• 提案手法は、複数のデータセットに渡って、さまざまな分布整合ベースライン（例：MMD、DANN、DSN、ADDA、CoGAN、PixelDA）を上回る。
• ハイパーパラメータ n（ステップあたりの生成器更新回数）を増やすと性能が向上し、特にドメインシフトが大きい場合に顕著。
• ターゲットデータ上の2つの分類器間の不一致は識別器のステップでピークに達し、生成器が不一致を低減するにつれて低下し、ターゲット精度の向上と相関する。
• 可視化は、適応後にターゲットサンプルがより識別的になり、ターゲット特徴が分布を完全に一致させるのではなくソースクラス構造に整列することを示す。
• この手法は VisDA 分類、数字、交通標識、GTA5-to-Cityscapes のセマンティックセグメンテーションタスクで優れた結果を示す。