[論文レビュー] Unknown-Aware Domain Adversarial Learning for Open-Set Domain Adaptation

JoonHo Jang, Byeonghu Na+4 more|arXiv (Cornell University)|Jun 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

本論文は、オープンセット・ドメイン適応（OSDA）のための新しいドメイン adversarial フレームワーク、Unknown-Aware Domain Adversarial Learning (UADAL) を提案する。UADAL は、共有特徴空間内でソース特徴とターゲット既知特徴を明示的に一致させるとともに、ターゲット未知特徴を分離する。UADAL はドメイン識別損失、未知特徴に配慮した順次最適化、および事後確率推論を導入することで、Office-Home および VisDA ベンチマークで先行手法を大きく上回る高い性能を達成する。

ABSTRACT

Open-Set Domain Adaptation (OSDA) assumes that a target domain contains unknown classes, which are not discovered in a source domain. Existing domain adversarial learning methods are not suitable for OSDA because distribution matching with $ extit{unknown}$ classes leads to negative transfer. Previous OSDA methods have focused on matching the source and the target distribution by only utilizing $ extit{known}$ classes. However, this $ extit{known}$-only matching may fail to learn the target-$ extit{unknown}$ feature space. Therefore, we propose Unknown-Aware Domain Adversarial Learning (UADAL), which $ extit{aligns}$ the source and the target-$ extit{known}$ distribution while simultaneously $ extit{segregating}$ the target-$ extit{unknown}$ distribution in the feature alignment procedure. We provide theoretical analyses on the optimized state of the proposed $ extit{unknown-aware}$ feature alignment, so we can guarantee both $ extit{alignment}$ and $ extit{segregation}$ theoretically. Empirically, we evaluate UADAL on the benchmark datasets, which shows that UADAL outperforms other methods with better feature alignments by reporting state-of-the-art performances.

研究の動機と目的

• 既存のドメイン adversarial 学習手法が、ターゲットドメインにおける未知クラスの存在に起因する分布不一致により負の転送が生じるという限界を解消すること。
• 既知クラスのみの特徴一致に失敗し、ターゲット未知インスタンスの意味のある表現を学習できないという問題を克服すること。
• ドメイン一致の過程で、ターゲット未知特徴をソース特徴およびターゲット既知特徴から明示的に分離することにより、明確な決定境界を実現すること。
• 未知特徴に配慮した特徴一致の最適化状態に理論的保証を提供し、頑健性と一般化性能を確保すること。
• しきい値を用いないことで、未知クラスと既知クラスを識別する後方確率推論機構を構築し、検出の信頼性を向上させること。

提案手法

• ターゲット未知特徴からの情報を積極的に組み込むことで、特徴空間の分離を促進する新しいドメイン識別損失を提案する。
• 敵対的学習プロセスにおいて、ソースおよびターゲット既知特徴の一致と、ターゲット未知特徴の分離のバランスを取るために、順次最適化戦略を導入する。
• 理論的分析により、未知特徴に配慮した一致の最適化状態が、分布一致と効果的な分離の両方を保証することを証明する。
• 任意のしきい値に依存しないことで、ターゲットサンプルが既知か未知かの確率を推定する後方確率推論モジュールを採用する。
• 既知および未知特徴モードを表現する混合モデルを用い、潜在空間におけるより良い分離を実現する。
• ドメイン adversarial 学習を変更し、識別器をソース、ターゲット既知、およびターゲット未知特徴を区別できるように変更する。

実験結果

リサーチクエスチョン

• RQ1 既知クラスのみの一致と比較して、ターゲット未知インスタンスの特徴を明示的に分離することで、オープンセット・ドメイン適応の性能向上が図れるか？
• RQ2 ドメイン adversarial 学習をどのように理論的に最適化すれば、既知分布の一致と未知の分離を同時に達成できるか？
• RQ3 未知特徴に配慮した識別損失を組み込むことで、モデルの一般化性能と決定境界の明確さにどのような影響を与えるか？
• RQ4 しきい値を用いない後方確率推論は、OSDA における未知クラス検出の信頼性を向上させられるか？
• RQ5 Office-Home や VisDA といった標準的な OSDA ベンチマークにおいて、UADAL は最先端手法と比較してどのように差をつけるか？

主な発見

• Office-Home データセットでは、R→C の設定で平均77.3%、C→R の設定で77.4%の平均精度を達成し、先行のSOTA手法を上回る。
• VisDA-2017 ベンチマークでは、平均84.8%の精度を達成し、以前の最高手法（DANCE）を1.0ポイント上回った。
• Office-Home の C→A および C→P の設定では、それぞれ76.8%および76.7%の平均精度を達成し、多様なドメインシフトに対しても強力な一般化性能を示した。
• アブレーションスタディにより、提案された未知特徴に配慮した一致機構が、既知クラスおよび未知クラスの認識性能を顕著に向上させ、ベースラインの DANN と比較して未知精度で5.2%の向上を達成した。
• 後方確率推論モジュールは、しきい値を用いないことで、未知サンプルを効果的に特定し、オープンセット検出における頑健性と一貫性を向上させた。
• 理論的分析により、未知特徴に配慮した一致の最適化状態が、一致と分離の両方を保証することが確認され、本手法の成功を裏付ける理論的基盤が得られた。