[論文レビュー] Simple Domain Adaptation with Class Prediction Uncertainty Alignment.

Jeroen Manders, Elena Marchiori+1 more|arXiv (Cornell University)|Apr 12, 2018

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 13

ひとこと要約

この論文は、敵対的訓練を用いて、ソースドメインとターゲットドメイン間の予測クラス確率を揃える、シンプルでありながら効果的な非教師ありドメイン適応手法を提案する。ドメイン間の予測の不確実性を最小化することで、アーキテクチャ的・訓練的変更を最小限に抑えつつ、画像分類ベンチマークで最先端の性能を達成し、過学習に対しても頑健である。

ABSTRACT

Unsupervised domain adaptation tries to adapt a classifier trained on a labeled source domain to a related but unlabeled target domain. Methods based on adversarial learning try to learn a representation that is at the same time discriminative for the labels yet incapable of discriminating the domains. We propose a very simple and efficient method based on this approach which only aligns predicted class probabilities across domains. Experiments show that this strikingly simple adversarial domain adaptation method is robust to overfitting and achieves state-of-the-art results on datasets for image classification.

研究の動機と目的

• ラベル付きソースデータとラベルなしターゲットデータが異なる分布から得られるドメインシフトの課題に対処すること。
• ターゲットドメインのアノテーションを必要とせずに、ラベルなしターゲットドメインへの一般化を向上させること。
• シンプルでありながら過学習に対して頑健であり、高い性能を維持する手法を開発すること。
• 最小限のアーキテクチャ的・訓練的変更で、標準的な画像分類ベンチマークで最先端の性能を達成すること。

提案手法

• この手法は、敵対的訓練を用いて、ソースドメインとターゲットドメイン間の予測クラス確率分布を揃える。
• ドメイン識別器を導入し、ドメインの起源に関係なく、両ドメインに対して類似したクラス予測をモデルが出力するよう促進する。
• 本手法は不確実性の揃えに注力する—ターゲットドメインの予測のエントロピーを最小化することで、予測の曖昧さを低減する。
• ソースデータにおけるクロスエントロピー損失とドメイン不変表現を揃えるための敵対的損失の組み合わせを用いて、エンドツーエンドでモデルを訓練する。
• 追加モジュールや複雑なアーキテクチャを導入しない。本手法はクラス確率の揃えにのみ依存する。
• 不確実性の揃えによる正則化効果のおかげで、訓練プロセスは安定しており、過学習のリスクが低い。

実験結果

リサーチクエスチョン

• RQ1 クラス確率の揃えにのみ依存するシンプルな手法が、非教師ありドメイン適応において最先端の性能を達成できるか？
• RQ2 ドメイン間での不確実性の揃えが、モデルの頑健性およびターゲットドメインへの一般化に与える影響は何か？
• RQ3 ターゲットドメインでの予測エントロピーを最小化することで、ドメイン適応の性能が向上するか？
• RQ4 複雑な特徴レベルのドメイン揃えや敵対的特徴分離器がなくても、敵対的訓練は効果的か？

主な発見

• 提案手法は、非教師ありドメイン適応の標準的な画像分類ベンチマークで最先端の性能を達成した。
• 限られたラベル付きソースデータでも、過学習に対して強い頑健性を示した。
• 予測クラス確率の揃えのみで、ベースライン手法と比較して顕著な性能向上が得られた。
• 特徴レベルのドメイン揃えや敵対的特徴分離に依存するより複雑なドメイン適応手法を上回った。