[論文レビュー] Semi-supervised Domain Adaptation via Minimax Entropy

Kuniaki Saito, Donghyun Kim+3 more|arXiv (Cornell University)|Apr 13, 2019

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 76

ひとこと要約

Minimax Entropy (MME) を導入する、敵対的でエントロピーベースの SSDA 手法で、 unlabeled target data に対するエントロピー最大化と feature extractor におけるエントロピー最小化を交互に行うことで、ドメインに依存しないプロトタイプと識別力のある特徴を学習する。

ABSTRACT

Contemporary domain adaptation methods are very effective at aligning feature distributions of source and target domains without any target supervision. However, we show that these techniques perform poorly when even a few labeled examples are available in the target. To address this semi-supervised domain adaptation (SSDA) setting, we propose a novel Minimax Entropy (MME) approach that adversarially optimizes an adaptive few-shot model. Our base model consists of a feature encoding network, followed by a classification layer that computes the features' similarity to estimated prototypes (representatives of each class). Adaptation is achieved by alternately maximizing the conditional entropy of unlabeled target data with respect to the classifier and minimizing it with respect to the feature encoder. We empirically demonstrate the superiority of our method over many baselines, including conventional feature alignment and few-shot methods, setting a new state of the art for SSDA.

研究の動機と目的

• 少数のターゲットラベルしかないSSDA設定において、unsupervised/ domain alignment 手法の限界を示す。
• ラベルなしのターゲットデータを活用して分類器を適応する minimax entropy フレームワークを提案する。
• コサイン類似度プロトタイプベースの分類器を開発し、そのプロトタイプはエントロピーベースの目的関数によって適応される。
• DomainNet、Office-Home、Office データセットにおいて、one-shot および three-shot 設定で baselines を上回る MM E を示す。

提案手法

• 類似度ベースのネットワークを採用し、特徴抽出器 F とコサイン類似度分類器 C をクラスプロトタイプ W を用いて構成する。
• unlabeled target data の予測のエントロピーを最大化することでドメイン不変なクラスプロトタイプを推定する（プロトタイプ適応）。
• 特徴抽出器に対するエントロピーを最小化し、プロトタイプの周りに未ラベルのターゲット特徴をクラスタリングさせる（識別的クラスタリング）。
• ラベル付きソース・ターゲットデータ上で標準の分類損失に、ハイパーパラメータ lambda によって制御される minimax エントロピー項を追加して F と C を訓練する。
• 勾配反転レイヤを介して minimax ゲームを実装し、エントロピー最大化（C）とエントロピー最小化（F）を共同最適化する。
• DomainNet、Office-Home、Office データセットを one-shot および three-shot のターゲットラベルレジームで評価し、ベースラインを上回る改善を報告する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットのラベル付きサンプルがわずかしか利用できない場合、既存のUDA/SSL手法はSSDAの性能を向上させるか。
• RQ2 敵対的でエントロピーベースの手法を用いてドメイン不変なプロトタイプを推定することで、ターゲットドメインの識別性能を向上させることができるか。
• RQ3 未ラベルのターゲットデータに対してプロトタイプを調整するためにエントロピーを最大化し、その後 feature extractor でエントロピーを最小化することは、ドメイン分岐を減らし精度を向上させるか。
• RQ4 複数のデータセットとネットワークバックボーンにおいて、MM E は標準的なエントロピー最小化およびドメイン揃えベースラインとどう比較されるか。

主な発見

• MME は複数のベンチマークとアーキテクチャに渡って SSDA における最先端性能を達成する。
• ベースラインと比較して、MME は one-shot および three-shot 設定で単純な source-target 訓練に対する誤差を大幅に減少させる。
• エントロピーベースのプロトタイプ適応と featureExtractor のクラスタリングを組み合わせることで、ドメイン整合性と識別力のあるターゲット特徴が改善される。
• MME は、SSDA シナリオで特徴分布整合のみに依存する教師なしドメイン適応手法を一貫して上回る。
• 可視化と分析は、MME の下でドメイン分岐の縮小と、プロトタイプ中心のターゲット特徴クラスタのよりコンパクトさを示す。