[論文レビュー] UMAD: Universal Model Adaptation under Domain and Category Shift

Jian Liang, Dapeng Hu+2 more|arXiv (Cornell University)|Dec 16, 2021

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

本稿では、未知のドメインおよびカテゴリシフトが存在する非教師ありドメイン適応（UDA）において、ソースデータを必要とせず、ソースモデルのみを用いて汎用的なモデル適応を実現するUMADというフレームワークを提案する。2ヘッド分類器、自動閾値設定による情報性のある一貫性スコア（未知サンプルの除外に使用）、および局所化された相互情報量を用いたドメインアライメントにより、ソースデータにアクセスできない状況下でも、オープンセットおよびオープンパーシャルセットUDAの両状況で最先端の性能を達成する。

ABSTRACT

Learning to reject unknown samples (not present in the source classes) in the target domain is fairly important for unsupervised domain adaptation (UDA). There exist two typical UDA scenarios, i.e., open-set, and open-partial-set, and the latter assumes that not all source classes appear in the target domain. However, most prior methods are designed for one UDA scenario and always perform badly on the other UDA scenario. Moreover, they also require the labeled source data during adaptation, limiting their usability in data privacy-sensitive applications. To address these issues, this paper proposes a Universal Model ADaptation (UMAD) framework which handles both UDA scenarios without access to the source data nor prior knowledge about the category shift between domains. Specifically, we aim to learn a source model with an elegantly designed two-head classifier and provide it to the target domain. During adaptation, we develop an informative consistency score to help distinguish unknown samples from known samples. To achieve bilateral adaptation in the target domain, we further maximize localized mutual information to align known samples with the source classifier and employ an entropic loss to push unknown samples far away from the source classification boundary, respectively. Experiments on open-set and open-partial-set UDA scenarios demonstrate that UMAD, as a unified approach without access to source data, exhibits comparable, if not superior, performance to state-of-the-art data-dependent methods.

研究の動機と目的

• ソースデータが入手不可であり、カテゴリシフト（オープンセットまたはオープンパーシャルセット）が未知である非教師ありドメイン適応の課題に対処すること。
• ラベル付きソースデータを必要とせず、オープンセットおよびオープンパーシャルセットUDAの両状況で優れた性能を発揮する統合フレームワークの開発。
• ソースモデルとラベルなしのターゲットデータのみを用いて、ターゲットドメインにおける未知サンプルの効果的排除を可能にすること。
• 既知のターゲットサンプルをソース分類器とアライメントさせつつ、未知サンプルを意思決定境界から遠ざけることで、ドメインシフト下でも頑健な適応を実現すること。

提案手法

• ターゲットサンプルの特徴量とログティックの整合性に基づき、一貫性スコアを生成する2ヘッド分類器をソースモデルに設計する。
• Mixup補間を用いて計算される情報性のある一貫性スコア（iscorE）を導入し、不確実性を測定するとともに、既知と未知のサンプルを区別する。
• Mixup増強されたターゲットサンプルの平均iscorEを用いて、自動的に除外閾値を決定する。
• 未知サンプルをソース分類境界から遠ざけるためにエントロピー損失を適用し、除外性能を向上させる。
• 一般化された多様性項を備えた局所化された相互情報量（LMI）目的関数を提案し、既知のターゲットサンプルとソースモデルをアライメントする。
• 2段階の適応プロセスを採用：まず閾値処理により未知サンプルを除外し、次にLMIとドメインアライメントを用いて既知サンプルをアライメントする。

実験結果

リサーチクエスチョン

• RQ1 ソースデータにアクセスできない状況下でも、オープンセットおよびオープンパーシャルセットUDAの両状況で優れた性能を発揮できるモデル適応フレームワークは構築可能か？
• RQ2 ソースデータやカテゴリオーバーラップの情報が入手不可な状況下で、ターゲットドメインにおける未知サンプルを効果的に検出・除外することは可能か？
• RQ3 さまざまな不確実性スコアが、ソースデータフリーUDAの性能に与える影響は何か？
• RQ4 提案された局所化された相互情報量目的関数は、さまざまなカテゴリシフト下で既知サンプルのアライメントをどのように向上させるか？

主な発見

• UMADは、ソースデータにアクセスできない状況下でも、オープンセットおよびオープンパーシャルセットUDAベンチマークにおいて、最先端のデータ依存型手法と同等または優れた性能を達成する。
• 自動閾値設定を伴う提案されたiscorEスコアは、L2やコサイン類似度といったベースライン不確実性スコアを上回り、未知サンプルの除外性能を顕著に向上させる。
• アブレーションスタディの結果、エントロピー損失は性能に不可欠であることが確認され、その除去により未知サンプルの取り扱いが不十分となり、HOSスコアが著しく低下する。
• 一般化された多様性項を備えた局所化された相互情報量（LMI）目的関数は、パーシャルセットUDAタスクにおいて、通常の相互情報量や他のベースラインを上回る性能を発揮する。
• UMADは、未知クラスの数が変動しても安定した性能を維持しており、オープンセットUDA設定における頑健性を示している。
• 可視化の結果、iscorEが効果的に既知と未知のサンプルを分離しており、フレームワークがそれらの間のマージンを成功裏に拡大していることが確認された。