[論文レビュー] Entropy Minimization vs. Diversity Maximization for Domain Adaptation

Xiaofu Wu, Suofei hang+4 more|arXiv (Cornell University)|Feb 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 13

ひとこと要約

本稿では、自明な解を避けるためにエントロピー最小化と多様性最大化をバランスさせる、未学習ドメイン適応手法 Minimal-Entropy Diversity Maximization (MEDM) を提案する。ハイパーパrameterチューニングに深層埋め込み検証を用いることで、VisDA-2017、ImageCLEF、Office-Home、Office-31 で最先端性能を達成し、SVHN→MNIST では 98.7% の精度を達成する。エントロピー最小化のみのベースラインや先行SOTA手法を顕著に上回る。

ABSTRACT

Entropy minimization has been widely used in unsupervised domain adaptation (UDA). However, existing works reveal that entropy minimization only may result into collapsed trivial solutions. In this paper, we propose to avoid trivial solutions by further introducing diversity maximization. In order to achieve the possible minimum target risk for UDA, we show that diversity maximization should be elaborately balanced with entropy minimization, the degree of which can be finely controlled with the use of deep embedded validation in an unsupervised manner. The proposed minimal-entropy diversity maximization (MEDM) can be directly implemented by stochastic gradient descent without use of adversarial learning. Empirical evidence demonstrates that MEDM outperforms the state-of-the-art methods on four popular domain adaptation datasets.

研究の動機と目的

• エントロピー最小化に基づく未学習ドメイン適応において、モデルが単一の優勢なクラスに収束する自明な解の問題に対処すること。
• 予測におけるカテゴリの多様性を明示的に最大化することで、ターゲットドメインへの一般化を向上させ、エントロピー最小化を補完すること。
• 敵対的訓練を必要とせず、エントロピー最小化と多様性最大化の近似的な最適なトレードオフを達成する手法を開発すること。
• ターゲットラベルが利用できない状況でも、不偏リスク推定のための深層埋め込み検証（DEV）を用いて効果的なハイパーパrameter選定を可能にすること。
• 特に大規模データセット（VisDA-2017 など）を含む標準的なドメイン適応ベンチマークで優れた性能を示すこと。

提案手法

• エントロピーと多様性の両方を組み合わせた損失関数を提案。多様性は予測クラス確率の分散で測定される。
• バランスの取れた目的関数を導入：$\mathcal{L}_{\text{MEDM}} = \lambda \cdot H(\mathbf{p}) - \beta \cdot \mathcal{L}_d(\mathcal{T})$。ここで $H(\mathbf{p})$ はエントロピー、$\mathcal{L}_d(\mathcal{T})$ は多様性損失。
• 未学習の方法としてターゲットリスクを推定するために深層埋め込み検証（DEV）を用い、バランスハイパーパrameter $\lambda$ と $\beta$ の自動選定を可能にする。
• 敵対的訓練を一切用いずに、確率的勾配降下法によりエンドツーエンドでモデルを訓練することで最適化を簡素化し、安定性を向上させる。
• ラベルなしのターゲットデータに対してMEDM目的関数を適用し、予測の信頼性と予測全体におけるクラス分布の均一性を促進する。
• ResNet-50バックボーンを用い、VisDA-2017、Office-31、Office-Home、ImageCLEF などの複数のドメイン適応ベンチマークで訓練を行う。

実験結果

リサーチクエスチョン

• RQ1 エントロピー最小化のみでは、未学習ドメイン適応において自明な解に陥る可能性があり、その原因は何か？
• RQ2 ドメイン適応中に1つのクラスに収束するのを防ぐために、モデルの予測における多様性をどのように明示的に最大化できるか？
• RQ3 ドメイン適応におけるターゲットリスクを最小化するための、エントロピー最小化と多様性最大化の最適なトレードオフは何か？
• RQ4 ターゲットラベルが存在しない状況でも、深層埋め込み検証（DEV）を用いてエントロピーと多様性のバランスハイパーパrameterを効果的にチューニングできるか？
• RQ5 エントロピー最小化と多様性最大化を組み合わせることで、多様なドメインシフト状況において一貫した性能向上が達成できるか？

主な発見

• エントロピー最小化のみ（EMO）は、SVHN→MNIST で崩壊的に失敗し、44.1% の精度にとどまり、予測は単一のクラス（数字「1」）に支配される。これは自明な解を示している。
• MEDMは、SVHN→MNIST で 98.7% の精度を達成し、前回SOTAのMECA（95.2%）を3.5%上回る。一般化性能と頑健性が顕著に優れている。
• VisDA-2017 では、最先端の性能を達成し、特に最大のベンチマークデータセットで顕著な優位性を示している。
• 多様性損失 $\mathcal{L}_d(\mathcal{T})$ だけでは、自動的に均一なクラス分布にはならない。DEVによる適切なバランスが性能劣化を防ぐために不可欠である。
• β が低すぎると（例：0.3未満）、一部のクラスが特定されない。β が高すぎると（例：0.5）、性能が劣化する。これは、ハイパーパrameterチューニングに注意を要することを示している。
• MMD や敵対的損失のようなドメイン乖離損失を追加すると、性能がさらに劣化する。これは、MEDMの内部的なバランスが外部のドメイン整合よりも効果的であることを示している。