[論文レビュー] Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation

Jian Liang, Dapeng Hu+1 more|arXiv (Cornell University)|Feb 19, 2020

Domain Adaptation and Few-Shot Learning被引用数 324

ひとこと要約

本論文は、ソースデータにアクセスせずに適応するため、凍結されたソース分類器とターゲット専用エンコーダ、自己教師あり擬似ラベリングを用いる、unsupervised domain adaptation のフレームワーク SHOT を提案する。SHOT はさまざまなDA設定で最先端の結果を達成する。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to leverage the knowledge learned from a labeled source dataset to solve similar tasks in a new unlabeled domain. Prior UDA methods typically require to access the source data when learning to adapt the model, making them risky and inefficient for decentralized private data. This work tackles a practical setting where only a trained source model is available and investigates how we can effectively utilize such a model without source data to solve UDA problems. We propose a simple yet generic representation learning framework, named \\emph{Source HypOthesis Transfer} (SHOT). SHOT freezes the classifier module (hypothesis) of the source model and learns the target-specific feature extraction module by exploiting both information maximization and self-supervised pseudo-labeling to implicitly align representations from the target domains to the source hypothesis. To verify its versatility, we evaluate SHOT in a variety of adaptation cases including closed-set, partial-set, and open-set domain adaptation. Experiments indicate that SHOT yields state-of-the-art results among multiple domain adaptation benchmarks.

研究の動機と目的

• ソースデータのプライバシーを保持しつつ、訓練済みのソースモデルのみが利用可能な実用的な教師なしDA設定を提案する。
• ソースデータを共有せずにターゲット表現をソース仮説へ整列させる汎用表現学習フレームワーク（SHOT）を提案する。
• 情報最大化と自己教師付き擬似ラベリングを用いてターゲット特徴学習を改善する。
• SHOTをクローズドセット、部分集合セット、オープンセットDAのベンチマークで評価し、汎用性と性能を示す。
• ネットワークアーキテクチャの選択肢（ウェイト正規化、バッチ正規化、ラベルスムージング）を探索し、適応を高める。

提案手法

• ソース分類器（仮説） h_s を凍結し、ターゲット表現をソース仮説に適したものとして生成するターゲット特徴エンコーダ g_t を学習する。
• エントロピー最小化と多様性促進を組み合わせた情報最大化（IM）目的を最適化し、ターゲット出力を1つのクラスに向けつつ多様な予測へと導く。
• ターゲット領域のプロトタイプに基づく自己教師付き擬似ラベリングを導入し、ターゲット表現を洗練させ、ノイズの多いソース駆動ラベルへの依存を減らす。
• IM損失と擬似ラベル指導を組み合わせる正規化項（βパラメータ）を用いた擬似ラベル監督を導入する。
• ネットワーク内でウェイト正規化、バッチ正規化、ラベルスムージングを活用して適応を高める。
• SHO Tをエンドツーエンドのフレームワークとして定式化し、部分集合/オープンセットDA設定へ拡張可能とする。

実験結果

リサーチクエスチョン

• RQ1 訓練済みのソースモデルをソースデータにアクセスせずに効果的に使用して、教師なしドメイン適応を実現できるか。
• RQ2 ソースデータを共有せずに、ターゲット特徴学習をどのように導いてソース仮説と整合させるか。
• RQ3 情報最大化と自己教師付き擬似ラベリングは、クローズドセット・部分集合・オープンセットの跨る堅牢な表現を生み出すか。
• RQ4 SHO T の適応性能をさらに高めるアーキテクチャ選択肢（BN、WN、LS）は何か。

主な発見

• SHOT-IMとSHOTは、複数のベンチマークでソースモデルのみのベースラインを一貫して上回る。
• Office-Home データセットにおいて、SHOTはクローズドセットDAで平均精度を71.8%、オープンセット/部分設定で79.3%へと改善。
• Digits、Office、VisDA-CタスクではSHO Tは最先端または競合的な結果を達成し、自己教師付き擬似ラベリングによりSHO T-IMを上回ることが多い。
• 自己教師付き擬似ラベリングはナイーブな擬似ラベリングより性能が高く、L_entとL_divを組み合わせると一般に最良の結果を得られる。
• Ablation では BN、WN、LS は性能に寄与し、それらを SHOT-IM と組み合わせると全体的に最良の結果を得られる。
• 表形式の結果は、SHOTが高い平均値を達成することを示し（例: Office-Home の SHOT full は prior methods を著しく上回る）、各タスクでの大きなゲインを示す。