[論文レビュー] Source-free Domain Adaptation via Avatar Prototype Generation and Adaptation

Zhen Qiu, Yifan Zhang+5 more|arXiv (Cornell University)|Jun 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 15

ひとこと要約

本稿では、対照的プロトタイプ生成と適応（CPGA）という、元のソースデータにアクセスできない状況下でも動作する、ソースフリーの教師なしドメイン適応のための新規手法を提案する。この手法は、事前学習済みのソースモデルから対照学習を用いてクラス固有のアバター・プロトタイプを生成し、そのプロトタイプに疑似ラベル付きのターゲット特徴を整列させる。本手法は、ソースデータにアクセスせずにベンチマークデータセットで最先端の性能を達成しており、ラベルノイズやドメインシフトに対して高い頑健性を示している。

ABSTRACT

We study a practical domain adaptation task, called source-free unsupervised domain adaptation (UDA) problem, in which we cannot access source domain data due to data privacy issues but only a pre-trained source model and unlabeled target data are available. This task, however, is very difficult due to one key challenge: the lack of source data and target domain labels makes model adaptation very challenging. To address this, we propose to mine the hidden knowledge in the source model and exploit it to generate source avatar prototypes (i.e., representative features for each source class) as well as target pseudo labels for domain alignment. To this end, we propose a Contrastive Prototype Generation and Adaptation (CPGA) method. Specifically, CPGA consists of two stages: (1) prototype generation: by exploring the classification boundary information of the source model, we train a prototype generator to generate avatar prototypes via contrastive learning. (2) prototype adaptation: based on the generated source prototypes and target pseudo labels, we develop a new robust contrastive prototype adaptation strategy to align each pseudo-labeled target data to the corresponding source prototypes. Extensive experiments on three UDA benchmark datasets demonstrate the effectiveness and superiority of the proposed method.

研究の動機と目的

• プライバシー制約によりソースデータが利用できない状況下での教師なしドメイン適応の課題に対処すること。
• ドメインシフトとターゲットラベルの欠如という課題を、事前学習済みソースモデルの隠れた知識を活用することで克服すること。
• ソースデータなしで、代表的かつクラス固有の特徴プロトタイプ（アバター・プロトタイプ）を生成し、ドメイン整列を支援する手法を開発すること。
• 誤った疑似ラベルの影響を軽減しつつ、疑似ラベル付きのターゲットサンプルをソースプロトタイプに整列させる、頑健な適応戦略を設計すること。
• 信頼度再重み付け、早期学習正則化、特徴クラスタリングを活用して、モデルの汎化性能とドメイン整列を向上させること。

提案手法

• ソースモデルの分類境界を対照学習を用いて学習し、クラス内では密でクラス間では分離されたアバター・プロトタイプを生成するプロトタイプ生成器を訓練する。
• 最初の段階で、事前学習済みソースモデルを用いて、ラベルなしのターゲットデータに疑似ラベルを付与する。
• 各疑似ラベル付きターゲットサンプルをその対応するソースプロトタイプに整列させる対照的プロトタイプ適応損失を適用し、信頼度重み付けを用いてノイズを低減する。
• 学習中に低信頼度の疑似ラベルを低減するため、信頼度再重み付けを導入する。
• 訓練の安定化と収束性の向上を図るため、早期学習正則化を適用する。
• 特徴クラスタリングを用いて特徴の密な構造を強化し、ターゲット特徴の識別性とドメイン不変性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ソースデータにアクセスできない状況下でも、代表的なソース特徴プロトタイプを効果的に生成できるか？
• RQ2 ノイズの多い疑似ラベルに強く、疑似ラベル付きターゲットサンプルをソースプロトタイプに整列させる方法は何か？
• RQ3 生成されたプロトタイプ上で対照学習を適用することで、ソースフリーのUDAにおけるドメイン整列とモデルの汎化性能が向上するか？
• RQ4 信頼度再重み付けと早期学習正則化は、ソースデータなしの状況下で性能にどのように影響を与えるか？
• RQ5 提案手法は、ソースデータなしで標準的なUDAベンチマークで最先端の性能を達成できるか？

主な発見

• 提案手法CPGAは、VisDAベンチマークでクラス別精度86.0%を達成し、既存のソースフリーUDA手法を上回った。
• アブレーションスタディの結果、プロトタイプにおける対照損失がクラス間分離性を向上させるとともにクラス内密着性を高め、精度を85.0%から86.0%に向上させた。
• 信頼度再重み付け、早期学習正則化、特徴クラスタリングの組み合わせにより、性能が86.0%まで向上し、ノイズ低減の有効性が示された。
• ハイパーパramータ分析の結果、最適な設定はVisDAでλ=5およびη=0.05であり、異なる値に対しても性能が安定していることが判明した。
• 可視化結果から、生成されたプロトタイプは良好に分離されており、ドメイン整列における有用性が裏付けられた。
• VisDA、Office-Home、DomainNetにおける広範な実験により、CPGAが既存のソースフリーUDA手法を上回ることを検証した。