[論文レビュー] Casting a BAIT for Offline and Online Source-free Domain Adaptation

Shiqi Yang, Yaxing Wang+3 more|arXiv (Cornell University)|Oct 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 9

ひとこと要約

本稿では、固定されたソース分類器を意思決定境界のアンカーとして使い、誤分類されたターゲット特徴を同定・是正するための補助的「バイト」分類器を用いる、新しいソースフリー領域適応手法BAITを提案する。バイト分類器とソース分類器の整合性を促進することで、特徴抽出器は不確実なターゲット特徴をソースの意思決定境界の正しい側に押しやるよう更新され、ソースデータにアクセスできない状況でも、オンラインでのソースフリー領域適応において最先端の性能を達成する。

ABSTRACT

We address the source-free domain adaptation (SFDA) problem, where only the source model is available during adaptation to the target domain. We consider two settings: the offline setting where all target data can be visited multiple times (epochs) to arrive at a prediction for each target sample, and the online setting where the target data needs to be directly classified upon arrival. Inspired by diverse classifier based domain adaptation methods, in this paper we introduce a second classifier, but with another classifier head fixed. When adapting to the target domain, the additional classifier initialized from source classifier is expected to find misclassified features. Next, when updating the feature extractor, those features will be pushed towards the right side of the source decision boundary, thus achieving source-free domain adaptation. Experimental results show that the proposed method achieves competitive results for offline SFDA on several benchmark datasets compared with existing DA and SFDA methods, and our method surpasses by a large margin other SFDA methods under online source-free domain adaptation setting.

研究の動機と目的

• 適応段階でソースデータが利用不可であるという状況下でのドメインシフトの課題に対処すること。
• より現実的なオンライン設定に焦点を当てつつ、オフラインおよびオンラインの両方のSFDA設定で有効な手法を開発すること。
• 誤りに敏感で計算コストの高い疑似ラベル付けやデータ生成に依存しないこと。
• ストリーミングターゲットデータに対して直接的・単一パスで適応可能であり、リアルタイム応用に適すること。
• ソースデータにアクセスせず、合成サンプルを生成せずとも、ソース分類器との特徴整合性を向上させること。

提案手法

• 事前学習後にソース分類器のヘッドを固定し、その意思決定境界を適応のための固定アンカーとして使用する。
• 誤分類されたターゲット特徴を検出するために、ソース分類器から初期化された補助的「バイト」分類器を導入する。
• 不確実なターゲットサンプルに対して異なる予測を促すように、対照的損失（$\mathcal{L}_{cast}$）を用いてバイト分類器を学習する。
• バイト分類器およびソース分類器の両方で正しく分類されるように、ターゲット特徴を促進する損失（$\mathcal{L}_{bite}$）を用いて特徴抽出器を更新する。
• ミニバッチ内での確実なサンプルと不確実なサンプルを分離するために、エントロピーに基づく分割を適用し、学習プロセスをガイドする。
• 不均衡なターゲットデータにおける汎化性能の向上を図るため、クラスバランス損失（$\mathcal{L}_b$）を用いる。

Figure 1: Illustration of training process. The top shows that the source-training model fails on target domain due to domain shift. The bottom illustrates our adaptation process. (a): splitting feature in current batch into 2 groups by the prediction entropy $H$ and the threshold $\tau$ , (b) then

実験結果

リサーチクエスチョン

• RQ1 固定されたソース分類器は、ソースフリー領域適応において安定な意思決定境界アンカーとして機能できるか？
• RQ2 ソースデータにアクセスせずに、補助的「バイト」分類器が誤分類されたターゲット特徴を効果的に同定・是正できるか？
• RQ3 提案手法は、特にオンライン（単一パス）適応設定において、既存のSFDA手法を上回る性能を達成できるか？
• RQ4 エントロピー閾値 $\tau$ のようなハイパーパrameterに対して、この手法はどれほど感度を示すか？
• RQ5 疑似ラベル付けやデータ生成に依存せずに、競争力のある性能を達成できるか？

主な発見

• BAITは、オフラインSFDA設定においてベンチマークデータセットで競争力ある性能を達成し、ソースデータを用いる既存手法と同等またはそれを上回る。
• オンラインSFDA設定では、BAITは3つのOffice-Homeタスクすべてにおいて、強力なベースラインであるSHOTを顕著に上回る。
• アブレーションスタディにより、$\mathcal{L}_{cast}$ と $\mathcal{L}_{bite}$ の両方が不可欠であることが確認され、それぞれを削除すると性能が45%および8%に低下する。
• エントロピー閾値 $\tau$ の選択に対して本手法は頑健であり、不確実セットを25%、75%、100%に選択した場合でも、性能低下が最小限に抑えられる。
• t-SNE可視化により、BAITはソースクラスプロトタイプと整合性の高い、よりコンパクトで判別性の高いターゲット特徴クラスタを生成することが確認された。
• BAITは、1回のパスでデータを分類しなければならないオンライン適応において優れた結果を達成しており、リアルタイムシステムへの実用性を示している。

Figure 2: Toy experiment on the twinning moon 2D dataset. The blue points refer to target data. The green and gray refer to source data. Decision boundaries after training model only on the source data and testing on source (a) and target (b) data. (c) After stage 1 training in the middle of adaptat