[論文レビュー] Domain Confusion with Self Ensembling for Unsupervised Adaptation

Jiawei Wang, Zhaoshui He+5 more|arXiv (Cornell University)|Oct 10, 2018

Domain Adaptation and Few-Shot Learning参考文献 18被引用数 4

ひとこと要約

本稿では、敵対的適応における訓練不安定性および誤った混乱を解消するために、特徴および分類の不変性をドメイン・コンフュージョンと自己アンサンブルを通じて共同最適化する、新しい非教師ありドメイン適応手法であるドメイン・コンフュージョン・ウィズ・セルフ・エンセンブル（DCSE）を提案する。本手法はドメインレベルおよびサンプルレベルの整合性を活用することで、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

Data collection and annotation are time-consuming in machine learning, expecially for large scale problem. A common approach for this problem is to transfer knowledge from a related labeled domain to a target one. There are two popular ways to achieve this goal: adversarial learning and self training. In this article, we first analyze the training unstablity problem and the mistaken confusion issue in adversarial learning process. Then, inspired by domain confusion and self-ensembling methods, we propose a combined model to learn feature and class jointly invariant representation, namely Domain Confusion with Self Ensembling (DCSE). The experiments verified that our proposed approach can offer better performance than empirical art in a variety of unsupervised domain adaptation benchmarks.

研究の動機と目的

• 敵対的非教師ありドメイン適応における訓練不安定性および誤った混乱を解消すること。
• ドメイン不変およびクラス不変の表現を共同で学習することで一般化性能を向上させること。
• ドメイン・コンフュージョンとセルフ・エンセンブルの長所を組み合わせ、より頑健な特徴学習を実現すること。
• 標準的な非教師ありドメイン適応ベンチマークで最先端の性能を達成すること。

提案手法

• 本手法は、敵対的訓練を用いてソースドメインとターゲットドメインの特徴をアライメントするドメイン・コンフュージョンモジュールを導入する。
• 自己アンサンブル成分を組み込み、データ拡張を施した複数回の順伝播における予測の一貫性を強制する。
• ドメイン・コンフュージョンとセルフ・エンセンブルの目的関数を共同で最適化することで、ドメインシフトおよびクラス分布の両方に対して不変な表現を学習する。
• ドメイン・コンフュージョンと予測の一貫性をバランスさせる組み合わせ損失関数を用いて、特徴および分類器のパラメータをエンドツーエンドで更新する。
• 同じ入力を複数のビューに変換するデータ拡張を用いることで、自己アンサンブルの信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 敵対的ドメイン適応における訓練不安定性はどのように軽減できるか？
• RQ2 ドメイン不変性とクラス不変性の共同最適化は、適応性能をどの程度向上させ得るか？
• RQ3 ドメイン・コンフュージョンと組み合わせた自己アンサンブルは、非教師ありドメイン適応における頑健性を向上させ得るか？
• RQ4 提案手法は、標準的なベンチマークで既存の最先端手法を上回る性能を達成するか？

主な発見

• 提案されたDCSE手法は、複数の非教師ありドメイン適応ベンチマークで、既存の最先端手法を上回る優れた性能を達成した。
• ドメイン・コンフュージョンとセルフ・エンセンブルの組み合わせは、純粋な敵対的アプローチで観察される訓練不安定性を効果的に低減した。
• 同じサンプルの複数の拡張ビューにおける一貫性のある予測を強制することで、誤った混乱の問題が緩和された。
• ドメイン不変性とクラス不変性の共同最適化により、より頑健で一般化可能な特徴表現が得られた。