[論文レビュー] Universal Domain Adaptation through Self Supervision

Kuniaki Saito, Donghyun Kim+2 more|arXiv (Cornell University)|Feb 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 163

ひとこと要約

自己教師付き近傍クラスタリングとエントロピーに基づく分離を用いて、事前のシフト知識なしに任意のカテゴリ変化に対処する普遍的なドメイン適応フレームワークであるDANCEを提案し、CDA、PDA、ODA、OPDA設定のベースラインを上回る。

ABSTRACT

Unsupervised domain adaptation methods traditionally assume that all source categories are present in the target domain. In practice, little may be known about the category overlap between the two domains. While some methods address target settings with either partial or open-set categories, they assume that the particular setting is known a priori. We propose a more universally applicable domain adaptation framework that can handle arbitrary category shift, called Domain Adaptative Neighborhood Clustering via Entropy optimization (DANCE). DANCE combines two novel ideas: First, as we cannot fully rely on source categories to learn features discriminative for the target, we propose a novel neighborhood clustering technique to learn the structure of the target domain in a self-supervised way. Second, we use entropy-based feature alignment and rejection to align target features with the source, or reject them as unknown categories based on their entropy. We show through extensive experiments that DANCE outperforms baselines across open-set, open-partial and partial domain adaptation settings. Implementation is available at https://github.com/VisionLearningGroup/DANCE.

研究の動機と目的

• ソース/ターゲットドメイン適応において既知のカテゴリオーバーラップを前提とする制約を解消する。
• シフトの事前知識なしに閉集合、開集合、部分的、混合シフトを扱う普遍的なDAフレームワークを開発する。
• 自己教師付き近傍クラスタリングを通じてターゲットドメインの構造を学習し、既知クラスと未知クラスの識別性の高い特徴を生成する。
• エントロピーに基づく分離損失によって、ターゲットからソースへの選択的な整列と未知の拒否を可能にする。
• ソース特徴を有用に保ちつつ、未知クラスへの堅牢性を向上させるためにドメイン特有の正規化を用いる。

提案手法

• エントロピー最適化によるドメイン適応近傍クラスタリング(DANCE)を導入する。
• ターゲット近傍とソースプロトタイプとの類似度に対するエントロピーを最小化して、ターゲット特徴学習を自己監視するために近傍クラスタリング(NC)を用いる。
• エントロピー分離(ES)損失を適用し、既知ならターゲットサンプルをソースプロトタイプに近づけ、閾値ρに対するエントロピーに基づいて未知として離す。
• 弱いドメインアライメントを支援するためにドメイン特有のバッチ正規化を組み込む。
• L2正規化特徴量とターゲット特徴およびプロトタイプのメモリバンクを用いたプロトタイプベースの分類器を採用する。
• 最終目的関数L = L_cls + λ (L_nc + L_es) を最適化する。

実験結果

リサーチクエスチョン

• RQ1 事前知識のないシフトでも、CDA、PDA、ODA、OPDAを扱える普遍的なドメイン適応手法はあり得るか？
• RQ2 ターゲットドメイン構造の自己教師付き学習は、既知クラスの正しい整列を可能にしつつ未知クラスの識別性を向上させるか？
• RQ3 多様なデータセットにおける既知ターゲットサンプルと未知ターゲットサンプルを区別するエントロピー分離はどれくらい有効か？
• RQ4 普遍的なDAの下でのアライメントに対するドメイン特有のバッチ正規化の影響は？
• RQ5 提案されたNCおよびES損失は、さまざまなカテゴリシフト設定下での専門のDAベースラインと比較してどのように機能するか？

主な発見

• DANCEはすべての普遍的DA設定においてソースオンリーベースラインを上回る。
• DANCEはオープンセットおよびオープン部分的DA設定で最先端の性能を達成し、一部の部分DA設定では競合的な結果を示す。
• 特徴量の可視化は、ターゲット空間で既知ターゲットが良くクラスタリングされ、未知が分離されていることを示す。
• NCとES損失は、未知のクラスタリングを強化し、設定をまたいで固定ハイパーパラメータでも既知クラスの識別性を向上させる。
• DANCEはターゲット監視なしで未知クラスに対する識別的特徴を維持し、未知数やソース私有クラスの数が変化しても頑健性を示す。