[論文レビュー] Few-Shot Adversarial Domain Adaptation

Saeid Motiian, Quinn Jones+2 more|arXiv (Cornell University)|Nov 5, 2017

Adversarial Robustness in Machine Learning参考文献 47被引用数 205

ひとこと要約

FADA は、ドメイン-クラス識別器を備えた四グループのサンプルペア対立的設定を用いて、非常に少数のラベル付きターゲットサンプルの下で監視付きドメイン適応を実行し、意味的整合とドメイン混乱を達成する。

ABSTRACT

This work provides a framework for addressing the problem of supervised domain adaptation with deep models. The main idea is to exploit adversarial learning to learn an embedded subspace that simultaneously maximizes the confusion between two domains while semantically aligning their embedding. The supervised setting becomes attractive especially when there are only a few target data samples that need to be labeled. In this few-shot learning scenario, alignment and separation of semantic probability distributions is difficult because of the lack of data. We found that by carefully designing a training scheme whereby the typical binary adversarial discriminator is augmented to distinguish between four different classes, it is possible to effectively address the supervised adaptation problem. In addition, the approach has a high speed of adaptation, i.e. it requires an extremely low number of labeled target training samples, even one per category can be effective. We then extensively compare this approach to the state of the art in domain adaptation in two experiments: one using datasets for handwritten digit recognition, and one using datasets for visual object recognition.

研究の動機と目的

• 深層ビジュアル認識タスクにおいてターゲットラベルが乏しい場合のドメイン適応を動機づける。
• 意味的ペア情報を用いた敵対的学習を活用する訓練スキームを開発する。
• ペアグループにドメインとクラス情報を符号化して、ドメイン混乱と意味的整合を促進する。
• 非常に少数のラベル付きターゲットサンプル（クラスごとに1つでも） がソースのみのベースラインより有意な改善をもたらすことを示す。

提案手法

• ドメインとクラスの関係を符号化する4つのサンプルペアグループを作成する（同ソース・同クラス、ソース-ターゲット・同クラス、ソース・異なるクラス、ソース-ターゲット・異なるクラス）。
• この4つのグループにペアを分類する多クラスのドメイン-クラス識別器（DCD）を訓練する。
• 敵対的目的を用いて特徴抽出器 g を更新し、DCD が特定のグループを区別できないようにしてドメイン混乱と意味的整合を促す。
• ソース/ターゲット特徴抽出器（g_s, g_t）に対して重み共有または非重み共有スキームを採用し、分類用の h を学習し、分類損失と混乱損失の間に gamma という調整項を置く。
• DCD を反復的に訓練する（g を凍結）、次に g/h を訓練する（DCD を凍結）して収束を達成する。
• MNIST-USPS-SVHN と Office データセットで評価し、監督付き SDA やさまざまな UDA ベースラインと比較する。）

実験結果

リサーチクエスチョン

• RQ1 敵対的学習を用いる場合、クラスごとに非常に少数のラベル付きターゲットサンプルは、効果的な監督付きドメイン適応を支えることができるか。
• RQ2 ペアベースのサンプリング（四グループ DCD）でドメインとクラス情報を符号化することが、純粋なドメイン混乱を超えた意味的整合を改善するか。
• RQ3 非常に小さなターゲットデータ領域において、重み共有と別個のソース/ターゲット特徴抽出器の影響はどうか。
• RQ4 デジットおよび物体認識のベンチマークで、FADA の性能は最先端の SDA および UDA 手法と比較してどうか。
• RQ5 提案手法は、ターゲットラベルが1から各クラス数個へと増えるにつれて迅速な改善をもたらすか。

主な発見

• FADA は、MNIST-USPS-SVHN タスクにおいて、少なくともクラスごとに1つのラベル付きターゲットサンプルで、最先端の SDA およびいくつかの UDA 手法と比較して競争力のあるまたは優れた精度を達成する。
• クラスあたりのラベル付きターゲットサンプル数が増えるにつれて性能が向上し、相対的に小さなターゲットデータ予算で高精度を達成する。
• ソースとターゲットの特徴抽出器間の重み共有は正則化を提供し、ラベル不足設定で非重み共有より安定性を向上させる。
• Office データセットでは、論文の評価プロトコルの下で、FADA はいくつかの無監督および監督付きベースラインと同等かそれ以上の精度を達成する。
• 四グループのペアリング戦略は、ドメイン混乱と意味的クラス整合の双方を可能にし、従来のドメイン不変性のみに焦点を当てた敵対的DA手法の限界に対処する。