[論文レビュー] Model Adaptation: Historical Contrastive Learning for Unsupervised Domain Adaptation without Source Data

Jiaxing Huang, Dayan Guan+2 more|arXiv (Cornell University)|Oct 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 106被引用数 93

ひとこと要約

この論文は unsupervised model adaptation (UMA) のための Historical Contrastive Learning (HCL) を提案し、ソースデータにアクセスせずにソースで学習したモデルをターゲット分布へ適応させる。歴史的モデルを用いてインスタンスレベルおよびカテゴリレベルのコントラスト学習と擬似ラベリングを整合性重み付きで行う。

ABSTRACT

Unsupervised domain adaptation aims to align a labeled source domain and an unlabeled target domain, but it requires to access the source data which often raises concerns in data privacy, data portability and data transmission efficiency. We study unsupervised model adaptation (UMA), or called Unsupervised Domain Adaptation without Source Data, an alternative setting that aims to adapt source-trained models towards target distributions without accessing source data. To this end, we design an innovative historical contrastive learning (HCL) technique that exploits historical source hypothesis to make up for the absence of source data in UMA. HCL addresses the UMA challenge from two perspectives. First, it introduces historical contrastive instance discrimination (HCID) that learns from target samples by contrasting their embeddings which are generated by the currently adapted model and the historical models. With the historical models, HCID encourages UMA to learn instance-discriminative target representations while preserving the source hypothesis. Second, it introduces historical contrastive category discrimination (HCCD) that pseudo-labels target samples to learn category-discriminative target representations. Specifically, HCCD re-weights pseudo labels according to their prediction consistency across the current and historical models. Extensive experiments show that HCL outperforms and state-of-the-art methods consistently across a variety of visual tasks and setups.

研究の動機と目的

• ソースデータにアクセスできない場合の従来の unsupervised domain adaptation の代替として、無監督型モデル適応 (UMA) を動機づける。
• ターゲットドメイン適応中にソース仮説を保持するメモリベースのアプローチを導入する。
• ソースデータなしでターゲット表現を学習するための2つの補完的なコントラスト機構を開発する：インスタンス識別的な HCID およびカテゴリ識別的な HCCD。
• HCL の効果を示す理論的洞察と広範なクロス・タスクの実証検証（セグメンテーション、検出、分類）を提供し、最先端の UMA 手法に対する優位性を示す。

提案手法

• Historical Contrastive Instance Discrimination (HCID): 現在のモデルからの埋め込みをクエリとして、歴史的モデルからの埋め込みをキーとして用い、正例を引き寄せ、負例を押し出すメモリベースのコントラスト損失を実行し、キーの信頼性を歴史的学習品質で再重み付けする。
• Historical Contrastive Category Discrimination (HCCD): 現在および歴史的予測を用いてターゲットサンプルに対して擬似ラベルを付け、歴史的整合性によって自己学習損失を再重み付けしてカテゴリ識別的表現を学習する。
• Historical consistency hinge: 擬似ラベルは現在と歴史的モデル間の一貫性に条件付けられ、十分に学習されたサンプルの選択的自己学習を可能にする。
• 理論的な枠組みは HCID を最大似然/EM の視点に関連づけ、特定の条件下で収束を証明する。同様に、HCCD は分類ML問題として枠組み化され、収束条件を持つ。

実験結果

リサーチクエスチョン

• RQ1 UMA をソースデータにアクセスせずに歴史的ソース仮説を活用することで効果的に達成できるか。
• RQ2 HCID と HCCD は UMA の下でターゲット表現学習を改善する相補的な信号を提供するか。
• RQ3 HCL は複数のビジョンタスク（セグメンテーション、検出、分類）および設定（部分集合/Open-set）で最先端の UMA およびいくつかの UDA ベースラインと比べてどのように性能を発揮するか。
• RQ4 歴史的整合性の役割は、UMA における信頼性の高い擬似ラベル付けとメモリベース学習をどのように可能にするか。

主な発見

• HCL はセマンティックセマンティックセグメンテーション、物体検出、画像分類タスク全般で最先端の UMA 手法を上回る。
• HCL（+HCL）を取り入れると既存の UMA 手法の性能が一貫して改善され、ソースデータを用いる UDA 手法と競合することもある。
• HCID および HCCD は正交的な監督信号を提供し、組み合わせるとセグメンテーションタスクで最高の性能をもたらす。
• HCL はタスクと学習設定（部分集合適応やオープンセット適応を含む）を跨いだ強い一般化能力を示す。
• 特徴可視化は、HCL がインスタンス識別的表現とカテゴリ識別的表現の両方を学習し、ターゲットデータへ適応しつつソース仮説を保持することを示唆する。