[論文レビュー] Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning

Ziyi Zhang, Weikai Chen+5 more|arXiv (Cornell University)|Nov 12, 2022

Domain Adaptation and Few-Shot Learning被引用数 28

ひとこと要約

DaCは、ターゲットデータをsource-likeとtarget-specificのセットに分割し、メモリーバンクとMMDベースの整合を用いた適応的対比学習を適用することで、ソースなしの教師なしドメイン適応に対するDivide-and-Conquer戦略を導入し、VisDA、Office-Home、DomainNetで最先端の結果を達成します。

ABSTRACT

We investigate a practical domain adaptation task, called source-free domain adaptation (SFUDA), where the source-pretrained model is adapted to the target domain without access to the source data. Existing techniques mainly leverage self-supervised pseudo labeling to achieve class-wise global alignment [1] or rely on local structure extraction that encourages feature consistency among neighborhoods [2]. While impressive progress has been made, both lines of methods have their own drawbacks - the "global" approach is sensitive to noisy labels while the "local" counterpart suffers from source bias. In this paper, we present Divide and Contrast (DaC), a new paradigm for SFUDA that strives to connect the good ends of both worlds while bypassing their limitations. Based on the prediction confidence of the source model, DaC divides the target data into source-like and target-specific samples, where either group of samples is treated with tailored goals under an adaptive contrastive learning framework. Specifically, the source-like samples are utilized for learning global class clustering thanks to their relatively clean labels. The more noisy target-specific data are harnessed at the instance level for learning the intrinsic local structures. We further align the source-like domain with the target-specific samples using a memory bank-based Maximum Mean Discrepancy (MMD) loss to reduce the distribution mismatch. Extensive experiments on VisDA, Office-Home, and the more challenging DomainNet have verified the superior performance of DaC over current state-of-the-art approaches. The code is available at https://github.com/ZyeZhang/DaC.git.

研究の動機と目的

• ソースデータが利用できず、モデルが新しいドメインへ適応しなければならない実用的なSFUDAを動機づける。
• ラベルノイズとソースバイアスに対処するため、グローバルなクラスクラスタリングと局所的なインスタンス構造の両方を活用する。
• ターゲットサンプルを動的にセグメント化し、各セグメントに合わせた学習を適用する統一フレームワークを開発する。
• ターゲットリスクに関する理論的保証を提供し、標準ベンチマークで経験的優越性を示す。

提案手法

• ソース分類器の信頼度に基づいて、ターゲットデータをsource-likeとtarget-specificサンプルに分割する。
• 擬似ラベルを用いた自己学習で初期のクラス別構造を取得する。
• メモリーバンクを用いた適応的対比学習フレームワークを適用し、グローバルなクラスプロトタイプ（source-likeサンプル用）と局所構造（target-specificサンプル用）の両方を学習する。
• メモリーバンクベースのMMD損失を用いてsource-likeとtarget-specificの分布を整合させ、Exponential-MMD変種を含む。
• ターゲットリスクを上限付ける理論解析を提供し、divide-then-contrast戦略の設計を正当化する。

実験結果

リサーチクエスチョン

• RQ1 ソースモデルの信頼度に基づくターゲットデータのセグメンテーションは、SFUDAにおいて堅牢でグローバルとローカルを混在させた学習をもたらすか？
• RQ2 source-likeサンプルのクラス別擬似ラベリングとtarget-specificサンプルの局所構造対照学習を組み合わせると、ソースデータ不在下で適応が改善されるか？
• RQ3 memory-bankベースのMMDは、SFUDAにおけるバッチバイアスを効果的に低減し、ドメイン間の整合性を改善できるか？
• RQ4 divide-and-contrast SFUDAフレームワークにおけるターゲットリスクの理論的保証は何か？

主な発見

• DaCは、source-freeおよび一部のsource-presentベースラインと比較してVisDA、Office-Home、DomainNetデータセットで最先端の性能を達成します。
• 本手法は、予測の信頼度が高いsource-likeサンプルと、信頼度が低いtarget-specificサンプルにターゲットを分割し、適切な学習戦略を適用する。
• メモリーバンクは、source-likeデータの頑健なクラスセントロイドと、target-specificデータの局所構造インスパイアプロトタイプを可能にし、グローバルクラスタリングとローカル一貫性を高める。
• メモリーバンクの上にあるExponential-MMD損失は、source-likeとtarget-specificサンプル間の分布整合を改善しつつ、バッチバイアスを緩和する。
• 理論解析はターゲットリスクの上界を提供し、divide-and-contrastアプローチを正当化する。