[論文レビュー] MiniMax Entropy Network: Learning Category-Invariant Features for Domain Adaptation

Chaofan Tao, Fengmao Lv+2 more|arXiv (Cornell University)|Apr 21, 2019

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 9

ひとこと要約

本稿では、ソースドメインとターゲットドメイン間のカテゴリレベル特徴一致を強制するために、不平等なカテゴリ識別器を用いる、新しい教師なしドメイン適応手法であるMiniMaxエントロピーネットワーク（MMEN）を提案する。ターゲットサンプルに対する識別器の予測のエントロピーを最小化することで、MMENはジェネレータが各カテゴリごとにソース特徴に類似するターゲット特徴を生成するよう促進し、ハイパーパramータの選択に強く依存しない堅牢な性能を、ベンチマークデータセットでSOTA（最先端）に達成する。

ABSTRACT

How to effectively learn from unlabeled data from the target domain is crucial for domain adaptation, as it helps reduce the large performance gap due to domain shift or distribution change. In this paper, we propose an easy-to-implement method dubbed MiniMax Entropy Networks (MMEN) based on adversarial learning. Unlike most existing approaches which employ a generator to deal with domain difference, MMEN focuses on learning the categorical information from unlabeled target samples with the help of labeled source samples. Specifically, we set an unfair multi-class classifier named categorical discriminator, which classifies source samples accurately but be confused about the categories of target samples. The generator learns a common subspace that aligns the unlabeled samples based on the target pseudo-labels. For MMEN, we also provide theoretical explanations to show that the learning of feature alignment reduces domain mismatch at the category level. Experimental results on various benchmark datasets demonstrate the effectiveness of our method over existing state-of-the-art baselines.

研究の動機と目的

• 既存のドメイン適応手法がグローバルドメイン不変性に注目するが、カテゴリレベルの不一致を無視するという限界に対処すること。
• 対戦的特徴学習にカテゴリ情報を組み込むことで、ターゲットドメインにおける一般化性能を向上させること。
• 細分化された特徴一致を介して、ラベルなしターゲットデータにソース分類器を効果的に適用できること。
• カテゴリレベル特徴一致がドメイン不一致を低減することの理論的裏付けを提供すること。

提案手法

• MMENは、共有特徴ジェネレータG、カテゴリ識別器D、補助分類器Cを用い、エンドツーエンドで訓練する。
• カテゴリ識別器Dは意図的に不平等である：ソースサンプルは正確に分類されるが、ターゲットサンプルのカテゴリについては混乱する。
• ジェネレータGは、ターゲットサンプルに対するDのソフトマックス出力のエントロピーを最小化する。これにより、識別器の不確実性にもかかわらず、自信のある予測を促進する。
• このミニマックスゲームにより、Gは各特定カテゴリごとにソース特徴と一致するターゲット特徴を生成するよう駆りられる。
• 実際のターゲットラベルに依存せず、Dからの仮ラベルに基づく交差エントロピー損失を用いて特徴学習をガイドする。
• ハイパーパramータλとkは、ジェネレータと識別器の更新の間のトレードオフと頻度を制御する。

実験結果

リサーチクエスチョン

• RQ1 グローバルドメイン不変性を越えて、カテゴリレベル特徴一致が教師なしドメイン適応を改善できるか？
• RQ2 不平等なカテゴリ識別器を用いた対戦的訓練が、特徴一致とモデル一般化に与える影響は何か？
• RQ3 MMENに基づく特徴学習後、ソース分類器をラベルなしターゲットデータに効果的に適用できるか？
• RQ4 λとkなどのハイパーパramータの変動に対して、MMENはどれほど頑健か？

主な発見

• MMENはMNIST→USPSおよびImageCLEF-DAベンチマークでSOTA性能を達成し、既存のSOTA手法を上回る。
• MNIST→USPSではλ=0.02およびk=5の設定で98.1%の正確度を達成し、ハイパーパramータ設定に強く依存しない高い頑健性を示した。
• ソースとターゲット特徴間のクラスタ中心距離（CCD）は、すべてのカテゴリで顕著に減少し、有効なカテゴリレベル一致が確認された。
• 微調整なしでも、ソース分類器CはResNet50よりもターゲット特徴上で著しく高い正確度を達成しており、MMEN特徴とソースモデルの互換性が裏付けられた。
• λを増加させたりkを減少させたりしても、モデルは安定して効果的であるが、勾配消失のため極端な設定では性能がわずかに低下する。