[論文レビュー] Confidence Score for Source-Free Unsupervised Domain Adaptation

Jonghyun Lee, Dahuin Jung+2 more|arXiv (Cornell University)|Jun 14, 2022

Domain Adaptation and Few-Shot Learning被引用数 21

ひとこと要約

SFUDAのためのJoint Model-Data Structure (JMDS) 信頼度スコアと、JMDSウェイト付き訓練とWeight Mixupを用いる学習フレームワークCoWA-JMDSを導入し、SFUDAベンチマークで最先端の成果を達成。

ABSTRACT

Source-free unsupervised domain adaptation (SFUDA) aims to obtain high performance in the unlabeled target domain using the pre-trained source model, not the source data. Existing SFUDA methods assign the same importance to all target samples, which is vulnerable to incorrect pseudo-labels. To differentiate between sample importance, in this study, we propose a novel sample-wise confidence score, the Joint Model-Data Structure (JMDS) score for SFUDA. Unlike existing confidence scores that use only one of the source or target domain knowledge, the JMDS score uses both knowledge. We then propose a Confidence score Weighting Adaptation using the JMDS (CoWA-JMDS) framework for SFUDA. CoWA-JMDS consists of the JMDS scores as sample weights and weight Mixup that is our proposed variant of Mixup. Weight Mixup promotes the model make more use of the target domain knowledge. The experimental results show that the JMDS score outperforms the existing confidence scores. Moreover, CoWA-JMDS achieves state-of-the-art performance on various SFUDA scenarios: closed, open, and partial-set scenarios.

研究の動機と目的

• ソースデータなしで事前学習済みのソースモデルのみが利用可能な状況でSFUDAを動機づけ、誤った擬似ラベルに対する脆弱性に対処する。
• ターゲットデータの構造とモデル情報を組み合わせて訓練サンプルをより適切に重み付けするサンプル毎の信頼度スコアを開発する。
• JMDSスコアを重みとして使用し、ターゲットドメインの知識を活用するWeight Mixupを導入する訓練フレームワークを提案する。
• 閉域セット、開放セット、部分集合SFUDAシナリオ全体でJMDSとCoWA-JMDSの最先端性能を示す。

提案手法

• JMDSスコアを、LPG（データ構造に基づく、ターゲット特徴上のGMMから）とMPPL（モデル側、擬似ラベルのモデル確率）の積として定義する。
• ターゲットサンプルのp_dataと擬似ラベルを得るためにガウス混合モデルを用いる。
• CoWA-JMDS損失で訓練する: L_CoWA-JMDS = JMDS(x_t) * L_CE(p_M(x_t), ŷ_t)。
• 混合サンプルの重みがJMDSスコアの加重結合となるWeight Mixupを導入し、ターゲットドメインの知識の活用を強化する。
• エンサンブルクラス処理と未知のエントロピーに基づくフィルタリングを用いて、CoWA-JMDSを開-setおよび部分-setシナリオへ拡張する。
• 補助ネットワークの代わりに、訓練にはGMM由来の擬似ラベルを任意で利用する。

実験結果

リサーチクエスチョン

• RQ1 ソースモデルの知識とターゲットデータ構造の両方を統合したサンプル毎の信頼度スコアは、SFUDAをいかに改善できるか？
• RQ2 JMDSベースの重み付けは、既存の信頼度スコアと比較して誤った擬似ラベルへの頑健性を向上させるか？
• RQ3 CoWA-JMDSは閉セット・開セット・部分集合SFUDAベンチマーク全般で最先端の性能を達成できるか？
• RQ4 SFUDA訓練中にターゲットドメイン知識を活用するWeight Mixupの影響はどのようか？

主な発見

• JMDSはSFUDAタスクにおけるAURCを通じた信頼度評価で、既存の信頼度スコア（例: LPG、MPPL、Cossim）を上回る。
• JMDS重みを用いたCoWA-JMDSは、閉セットSFUDAでOffice-31、Office-Home、VisDA-2017において最先端の結果を達成。
• CoWA-JMDSは開-setおよび部分-setSFUDAシナリオでもトップパフォーマンスを発揮し、Weight Mixupは特定データセットで平均精度を向上させる。
• Weight MixupはOffice-31でMixup単独と比較して平均精度を3.4%向上させ、ターゲット知識の活用を強化していることを示す。
• JMDSスコアは初期化時から信頼性があり、訓練が進むにつれてより効果的になり、漸進的な学習と過学習の抑制を可能にする。