[論文レビュー] Less Confusion More Transferable: Minimum Class Confusion for Versatile Domain Adaptation.

Ying Jin, Ximei Wang+2 more|arXiv (Cornell University)|Dec 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 3

ひとこと要約

本論文では、非敵対的ドメイン適応損失であるMinimum Class Confusion (MCC)を提案する。この手法は、ターゲット予測におけるペアワイズクラスの混同を低減することで、1つの手法が閉集合、部分集合、マルチソース、マルチターゲットの4つのDAシナリオを変更なしに処理可能にする。MCCはSOTA手法を上回り、特にDomainNet（7.3%の向上）で顕著な性能向上を示す。また、多様なDAフレームワークにおいて収束性と性能を向上させる汎用的な正則化項としても機能する。

ABSTRACT

There are a variety of Domain Adaptation (DA) scenarios subject to label sets and domain configurations, including closed-set and partial-set DA, as well as multi-source and multi-target DA. It is notable that existing DA methods are generally designed only for a specific scenario, and may underperform for scenarios they are not tailored to. To this end, this paper studies Versatile Domain Adaptation (VDA), where one method can handle several different DA scenarios without any modification. Towards this goal, a more general inductive bias other than the domain alignment should be explored. We delve into a missing piece of existing methods: class confusion, the tendency that a classifier confuses the predictions between the correct and ambiguous classes for target examples, which is common in different DA scenarios. We uncover that reducing such pairwise class confusion leads to significant transfer gains. With this insight, we propose a general loss function: Minimum Class Confusion (MCC). It can be characterized as (1) a non-adversarial DA method without explicitly deploying domain alignment, enjoying faster convergence speed; (2) a versatile approach that can handle four existing scenarios: Closed-Set, Partial-Set, Multi-Source, and Multi-Target DA, outperforming the state-of-the-art methods in these scenarios, especially on one of the largest and hardest datasets to date (7.3% on DomainNet). Its versatility is further justified by two scenarios proposed in this paper: Multi-Source Partial DA and Multi-Target Partial DA. In addition, it can also be used as a general regularizer that is orthogonal and complementary to a variety of existing DA methods, accelerating convergence and pushing these readily competitive methods to stronger ones. Code is available at this https URL.

研究の動機と目的

• 特定の1つのDAシナリオに特化した既存のドメイン適応（DA）手法の限界を解決すること。これは、多様な構成において一般化性能が低い原因となる。
• ターゲットドメインにおける正しくないクラスと曖昧なクラスの間のクラス混同——これは、異なるDA設定間での転移性能を妨げる主要因であるが、これまで軽視されてきた——を同定すること。
• アーキテクチャ的・トレーニング的変更なしに、複数のシナリオで良好に動作する統一的かつ汎用的なドメイン適応手法を開発すること。
• クラス間の混同を低減し、多様なドメインシフト設定においてモデルの頑健性を向上させる一般目的の損失関数、Minimum Class Confusion (MCC) を確立すること。
• MCCが既存のDA手法にプラグイン可能な正則化項として機能し、さまざまなベンチマークで収束性と性能を向上させることを実証すること。

提案手法

• ターゲットサンプルの予測確率と真のクラス確率の間のペアワイズ混同を最小化する非敵対的損失関数として、Minimum Class Confusion (MCC) を提案する。
• 正しいクラスの予測が曖昧または誤ったクラスよりも確信度が高くなるように促進する、コントラスト型の目的関数としてMCCを定式化する。
• ドメインアライメントに依存しない設計であるため、敵対的DA手法よりも高速な収束を実現する。
• ドメイン識別器ネットワークやドメイン特化の適応モジュールを必要とせず、標準的な分類ヘッドにMCCを統合する。
• 閉集合、部分集合、マルチソース、マルチターゲットDAの4つの標準的なDAシナリオにMCCを適用し、その汎用性を実証する。
• 新たに提案された2つのシナリオ、マルチソース部分DAおよびマルチターゲット部分DAにMCCを拡張し、標準的でない設定への一般化能力を検証する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャ的・トレーニング的変更なしに、1つのドメイン適応手法が複数の異なるDAシナリオを効果的に処理できるか。
• RQ2 正しいクラスと曖昧なクラスの間のクラス混同を低減することで、多様なドメインシフト設定における転移性能にどのような影響を与えるか。
• RQ3 非敵対的で混同を最小化する損失が、敵対的ドメインアライメント手法に比べて収束速度と精度でどれほど優れているか。
• RQ4 提案されたMinimum Class Confusion (MCC) 損失が、一般目的の正則化項として機能し、既存のSOTA DA手法を向上させられるか。
• RQ5 MCCは、特に極端なドメインシフトや部分ラベル設定下で挑戦的なベンチマークであるDomainNetで、どの程度の性能を示すか。

主な発見

• 提案されたMinimum Class Confusion (MCC) 損失は、閉集合、部分集合、マルチソース、マルチターゲットDAの4つの標準的なドメイン適応シナリオで、SOTA性能を達成した。
• 挑戦的なDomainNetベンチマークでは、前回のSOTAに対して7.3%の精度向上を達成し、極端なドメインシフト下でも優れた性能を示した。
• MCCにより、再トレーニングやアーキテクチャ変更なしに1つのモデルが複数のDAシナリオに一般化可能であることが実証され、その汎用性が裏付けられた。
• 既存のDA手法にMCCを正則化項として適用することで、収束が著しく高速化され、トレーニングのダイナミクスと最終的な性能が向上した。
• MCCは、新たに提案された2つのシナリオ、マルチソース部分DAおよびマルチターゲット部分DAにも一般化可能であり、その頑健性と適応性がさらに裏付けられた。
• MCCの非敵対的設計により、敵対的ドメインアライメント手法よりも高速な収束が達成され、性能は同等またはそれを上回った。