[論文レビュー] Make the U in UDA Matter: Invariant Consistency Learning for Unsupervised Domain Adaptation

Zhongqi Yue, Hanwang Zhang+1 more|arXiv (Cornell University)|Sep 22, 2023

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

ICONは、ソースドメインラベルとターゲットドメインクラスタの整合性を維持する不変な分類器を学習し、偽の相関を取り除き、古典的UDAベンチマークとWILDS 2.0ベンチマークで最先端の結果を達成します。

ABSTRACT

Domain Adaptation (DA) is always challenged by the spurious correlation between domain-invariant features (e.g., class identity) and domain-specific features (e.g., environment) that does not generalize to the target domain. Unfortunately, even enriched with additional unsupervised target domains, existing Unsupervised DA (UDA) methods still suffer from it. This is because the source domain supervision only considers the target domain samples as auxiliary data (e.g., by pseudo-labeling), yet the inherent distribution in the target domain -- where the valuable de-correlation clues hide -- is disregarded. We propose to make the U in UDA matter by giving equal status to the two domains. Specifically, we learn an invariant classifier whose prediction is simultaneously consistent with the labels in the source domain and clusters in the target domain, hence the spurious correlation inconsistent in the target domain is removed. We dub our approach "Invariant CONsistency learning" (ICON). Extensive experiments show that ICON achieves the state-of-the-art performance on the classic UDA benchmarks: Office-Home and VisDA-2017, and outperforms all the conventional methods on the challenging WILDS 2.0 benchmark. Codes are in https://github.com/yue-zhongqi/ICON.

研究の動機と目的

• UDAにおけるドメイン不変特徴とドメイン固有特徴の間の偽相関を動機づけて対処する。
• UDAにおいてUを重要にする方法として、予測をソースラベルとターゲットドメインクラスタリングに整合させる。
• ソースΒΕC整合性とターゲットΒΕC整合性の両方に対して同時に最適となる不変分類器を開発する。
• ICONを因果特徴から因果特徴＋環境への一般化可能な解消（分離）アプローチとして理論的根拠を提供する。

提案手法

• ICONを backbone、分類ヘッドf、クラスターヘッドgを用いて導入する。
• BCE整合性損失を用いてfをソースラベル（S）とターゲットクラスタ（T）に整合させる。
• ターゲットドメインをランク統計オンラインクラスタリング法でクラスタラベル（BCE(T,f)）を得る。
• 分布間の一方のドメイン優位を避ける分散ベースの不変性項（REx）を伴うBCE(S,f)とBCE(T,f)を最小化する不変整合目的を課す。
• tunable weightを用いた自己訓練損失L_stを組み込み、必要に応じてFixMatch、NoisyStudent、または他のベースラインに依存する。方程式（3）で収束まで訓練する。

実験結果

リサーチクエスチョン

• RQ1 UDAにおけるUをソース域の教師あり supervision を超えて有意にモデル学習に影響させるにはどうすれば良いか。
• RQ2 ソース整合性とターゲットクラスタリング指針の両方において最適な不変分類器は、ラベルなしターゲット領域への一般化を改善するか。
• RQ3 ターゲット領域のオンラインクラスタリングは偽の相関を除去する上でどんな役割を果たすか。
• RQ4 ICONは標準的なUDAベンチマークと実世界のWILDS 2.0タスクで既存手法と比べてどの程度の性能を示すか。

主な発見

手法	Ar → Cl	Ar → Pr	Ar → Rw	Cl → Ar	Cl → Pr	Cl → Rw	Pr → Ar	Pr → Cl	Pr → Rw	Rw → Ar	Rw → Cl	Rw → Pr	Avg
ICON (Ours)	63.3	81.3	84.5	70.3	82.1	81.0	70.3	61.8	83.7	75.6	68.6	87.3	75.8

• ICONはOffice-Homeで最先端の性能（平均75.8）、VisDA-2017で最先端の性能（平均87.4の平均クラス）を達成。
• ICONはWILDS 2.0のリーダーボードを複数タスクで支配、画像・テキスト・グラフデータモダリティを含む。
• アブレーションにより、SとTの整合性を不変性制約（REx）と組み合わせると自己訓練ベースラインより一貫した改善が得られる。
• ターゲットドメインのクラスターヘッドgをゼロから訓練することで、内在ターゲット分布を捉え、Sドメインの偽相関を除去できる。
• ICONはソース性能を犠牲にせずターゲット性能を維持または改善し、S-とT- supervision間の引っ張り合いに対処する。