[論文レビュー] Weakly Supervised Open-set Domain Adaptation by Dual-domain Collaboration

Shuhan Tan, Jiening Jiao+1 more|arXiv (Cornell University)|Apr 30, 2019

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 5

ひとこと要約

本稿では、弱教師ありオープンセットドメイン適応のための新規手法であるコラボラティブディストリビューションアライメント（CDA）を提案する。CDAは、2つの部分的にラベル付けされたドメインが協調的に特徴分布をアライメントし、既知クラスのサンプルを分類し、未知クラスの外れ値を検出できる。ドメイン固有の特徴変換、マージン最大化、分布アライメントを統合的に最適化することで、Officeおよびperson re-identificationベンチマークで最先端の性能を達成し、未知サンプルに対する精度と耐性が顕著に向上する。

ABSTRACT

In conventional domain adaptation, a critical assumption is that there exists a fully labeled domain (source) that contains the same label space as another unlabeled or scarcely labeled domain (target). However, in the real world, there often exist application scenarios in which both domains are partially labeled and not all classes are shared between these two domains. Thus, it is meaningful to let partially labeled domains learn from each other to classify all the unlabeled samples in each domain under an open-set setting. We consider this problem as weakly supervised open-set domain adaptation. To address this practical setting, we propose the Collaborative Distribution Alignment (CDA) method, which performs knowledge transfer bilaterally and works collaboratively to classify unlabeled data and identify outlier samples. Extensive experiments on the Office benchmark and an application on person reidentification show that our method achieves state-of-the-art performance.

研究の動機と目的

• 従来のドメイン適応が完全にラベル付けされたソースドメインを仮定する実用的制限を克服し、2つの部分的にラベル付けされたドメイン間での知識移行を可能にすること。
• 両ドメインに未知クラスのサンプルが存在するオープンセットのシナリオにドメイン適応を拡張し、既知クラスの分類と未知クラスの検出を要求すること。
• 完全にラベル付けされたソースに依存せずに、特徴分布のアライメント、クラス内ばらつきの低減、既知クラスと未知クラスの分離を共同で最適化する協調フレームワークを開発すること。
• 大規模なラベル付きデータが利用できない実世界の応用、例えば限られたアノテーションを持つperson re-identificationにおいて、一般化性能と耐性を向上させること。

提案手法

• 各ドメインの特徴を共有の潜在空間にマップするドメイン固有の特徴変換を用いた二重ドメイン協調フレームワークを提案する。
• マージンと条件付き分布アライメント、クラス内compactness、未知クラス分離を統合した共同最適化目的関数を導入する。
• 反復学習中に低信頼度の予測をフィルタリングするため、エントロピーに基づく外れ値検出を用いた疑似ラベル戦略を採用する。
• 学習可能パラメータを有する多成分損失関数を用い、分布アライメント、クラスcompactness、未知クラスマージン最大化のバランスをとる。
• 反復的リファインメントを二重マッピングにより実施し、オープンセット条件下での特徴の識別性と耐性を向上させる。
• 既知クラス分類と未知クラス検出の両方を動的にバランスする適応的最適化を用いたエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 完全にラベル付けされたソースドメインが存在しない状況でも、2つの部分的にラベル付けされたドメインが協調的に分類性能と未知クラス検出を向上させられるか？
• RQ2 両ドメインに未知クラスのサンプルと限られたラベル付きデータが存在する状況で、特徴分布アライメントをどのように強化できるか？
• RQ3 協調的な設定において、既知クラス分類、ドメインアライメント、未知クラス分離を同時に最適化することで得られる影響は何か？
• RQ4 共有変換と比較して、二重ドメインマッピングは適応性能と耐性をどのように向上させるか？
• RQ5 エントロピーに基づくしきい値による外れ値検出は、オープンセットドメイン適応におけるモデル一般化性能をどの程度向上させるか？

主な発見

• Officeベンチマークでは、CDAは全5つのドメイン移行タスクで最先端の精度を達成し、5↔6タスクで61.5%の最高成績を記録した。
• クラス内集約部を削除すると、性能低下が38.4%減少し、モデルの耐性においてその重要性が示された。
• 未知クラス分離部を削除すると、5↔6タスクで11.7%の精度低下が生じ、オープンセット検出におけるその重要性が裏付けられた。
• CDAはλM ∈ [0.001,10]、λU ∈ [0.01,1]、λG ∈ [0.5,10] のパラメータ設定において多様な条件下でも強固な性能を維持した。
• エントロピーしきい値による外れ値検出は、5↔6タスクで最大8.8%の精度向上をもたらし、ノイズの多い疑似ラベルのフィルタリング効果を実証した。
• 二重マッピングは、全タスクで共有変換よりも4.1–7.2%の高い性能を示し、ドメイン固有の適応が特徴学習を強化することを示した。