[論文レビュー] Unsupervised Domain Adaptation without Source Data by Casting a BAIT.

Shiqi Yang, Yaxing Wang+3 more|arXiv (Cornell University)|Oct 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 55

ひとこと要約

本稿では、元データを必要とせず、学習可能な分類器を「罠」として用いることで、ターゲット特徴をソース分類器のプロトタイプとアライメントする、ソースフリーな自己教師付き領域適応手法BAITを提案する。ソース分類器を固定し、ドメインシフトによって逸脱するターゲット特徴を引きつける新しいプロトタイプを導入することで、ベンチマークデータセットにおいて最先端の性能を達成する。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to transfer the knowledge learned from a labeled source domain to an unlabeled target domain. Existing UDA methods require access to source data during adaptation, which may not be feasible in some real-world applications. In this paper, we address the source-free unsupervised domain adaptation (SFUDA) problem, where only the source model is available during the adaptation. We propose a method named BAIT to address SFUDA. Specifically, given only the source model, with the source classifier head fixed, we introduce a new learnable classifier. When adapting to the target domain, class prototypes of the new added classifier will act as a bait. They will first approach the target features which deviate from prototypes of the source classifier due to domain shift. Then those target features are pulled towards the corresponding prototypes of the source classifier, thus achieving feature alignment with the source classifier in the absence of source data. Experimental results show that the proposed method achieves state-of-the-art performance on several benchmark datasets compared with existing UDA and SFUDA methods.

研究の動機と目的

• 適応段階でソースデータが入手不可である状況における自己教師付き領域適応の課題に対処すること。
• 事前学習済みのソースモデルのみを活用して、ターゲットドメインにおける領域適応を実現する手法を開発すること。
• ソースデータにアクセスせずに、ソースドメインとターゲットドメインの特徴を効果的にアライメントすること。
• 標準ベンチマークにおいて、既存の自己教師付きおよびソースフリー領域適応手法を上回ること。

提案手法

• 新たな学習可能な分類器を導入し、そのクラスプロトタイプをドメインシフトによって逸脱するターゲット特徴を引きつける「罠」として機能させる。
• 適応段階でソースモデルの分類器ヘッドを固定し、学習済みのソース知識を保持する。
• ソース分類器プロトタイプから逸脱するターゲット特徴を、新しい分類器のプロトタイプへ引き寄せる。これによりドメイン差を低減する。
• ターゲットドメインデータのみを用いて、新しい分類器のプロトタイプを最適化することで、反復的にターゲット特徴のアライメントを改善する。
• ソースデータなしでアライメントを達成するために、特徴クラスタリングとプロトタイプベース最適化に依存する。
• ソース分類器出力の構造的不変性を活用することで、ソースフリーな状況下での領域適応を実現するフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 適応段階でソースデータにアクセスできない状況でも、効果的な領域適応が達成可能か？
• RQ2 ソースデータが入手不可な状況で、ソースドメインとターゲットドメインの特徴アライメントはどのように達成できるか？
• RQ3 学習可能なプロトタイプは、ターゲット特徴をソース分類器表現へ誘導する有効な「罠」として機能できるか？
• RQ4 ソースモデルとターゲットデータのみを用いたソースフリー領域適応手法の性能はいかほどか？
• RQ5 提案手法は、既存のUDAおよびSFUDA手法と比較して、精度と頑健性の面で優れているか？

主な発見

• BAITは、ソースフリーな自己教師付き領域適応設定において、複数のベンチマークデータセットで最先端の性能を達成した。
• 既存のUDAおよびSFUDAベースラインと比較して、ターゲットドメイン分類の精度が顕著に向上した。
• 学習可能な分類器を「罠」として用いることで、ソースデータを必要とせずドメインシフトを効果的に低減した。
• 固定されたソース分類器ヘッドにより知識伝達の安定性が保たれ、同時に新しい分類器がターゲット特徴に適応した。
• 多様なドメインシフトシナリオにわたり、強力な一般化性能を示した。
• 実験的結果から、新しい分類器を用いたプロトタイプベースのアライメントが、ソースデータなしでも効果的な適応を可能にすることが確認された。