[論文レビュー] Generation, augmentation, and alignment: A pseudo-source domain based method for source-free domain adaptation

Yuntao Du, Haiyang Yang+4 more|arXiv (Cornell University)|Sep 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 9

ひとこと要約

本稿では、元のソースデータにアクセスできない状況下で、ソースプロトタイプに近いターゲットサンプルから擬似ソースドメインを生成し、mixupを用いて拡張することで、4つの新しい損失（分類損失、多様性損失、一貫性損失、ドメイン対抗損失を含む）を適用し、明示的な分布整合性を実現する、ソースフリー・ドメイン適応手法を提案する。この手法は、ドメインシフトを低減することで、DigitsおよびVisDAベンチマークで最先端の性能を達成する。

ABSTRACT

Conventional unsupervised domain adaptation (UDA) methods need to access both labeled source samples and unlabeled target samples simultaneously to train the model. While in some scenarios, the source samples are not available for the target domain due to data privacy and safety. To overcome this challenge, recently, source-free domain adaptation (SFDA) has attracted the attention of researchers, where both a trained source model and unlabeled target samples are given. Existing SFDA methods either adopt a pseudo-label based strategy or generate more samples. However, these methods do not explicitly reduce the distribution shift across domains, which is the key to a good adaptation. Although there are no source samples available, fortunately, we find that some target samples are very similar to the source domain and can be used to approximate the source domain. This approximated domain is denoted as the pseudo-source domain. In this paper, inspired by this observation, we propose a novel method based on the pseudo-source domain. The proposed method firstly generates and augments the pseudo-source domain, and then employs distribution alignment with four novel losses based on pseudo-label based strategy. Among them, a domain adversarial loss is introduced between the pseudo-source domain the remaining target domain to reduce the distribution shift. The results on three real-world datasets verify the effectiveness of the proposed method.

研究の動機と目的

• 既存のソースフリー・ドメイン適応（SFDA）手法が、ソースドメインとターゲットドメイン間のドメインシフトを明示的に低減しないという制限に対処すること。
• ソースドメインに類似したターゲットサンプルを活用して、実際のソースデータが存在しない状況下でソース分布を近似する擬似ソースドメインを形成すること。
• 擬似ソースドメインの生成と拡張、およびマルチ損失による分布整合性を適用することで、SFDAの性能を向上させること。
• 擬似ソースドメインと残りのターゲットドメイン間の分布差を対抗的訓練により明示的に低減すること。

提案手法

• 本手法は、ソースモデルのプロトタイプに近いターゲットサンプルを、擬似ソースサンプルとして特定し、擬似ソースドメインを構築する。
• mixupデータ拡張を用いて、擬似ソースドメインを生成および拡張し、多様性と代表性を向上させる。
• 分布整合性の過程で4つの新しい損失を適用する：分類損失、多様性損失、一貫性損失、およびドメイン対抗損失。
• ドメイン対抗損失は、擬似ソースドメインと残りのターゲットドメイン間の分布差を最小化することを特に目的として設計されている。
• 自己学習のために擬似ラベルリングを用い、ソースデータにアクセスできない状況下でソースモデルからの知識蒸留を可能にする。
• 本アプローチはエンドツーエンドで学習可能であり、訓練済みのソースモデルとラベルなしのターゲットデータのみに依存して動作する。

Figure 1: The motivation of the proposed method. (a) Although there are no source samples, we find that the target samples near the source prototypes can be used to represent the source domain. Thus, (b) PS firstly generates a pseudo-source domain by selecting such target samples. Then, (c) PS enlar

実験結果

リサーチクエスチョン

• RQ1 実際のソースデータが存在しない状況下で、ソースドメインに類似したターゲットサンプルを効果的に活用して、擬似ソースドメインを再構築できるか？
• RQ2 mixupを用いた擬似ソースドメインの拡張は、ソースフリー環境下でのドメイン適応性能を向上させるか？
• RQ3 擬似ソースドメインと残りのターゲットドメイン間の明示的な分布整合性は、ドメインシフトを低減し、一般化性能を向上させられるか？
• RQ4 A-distanceと分類精度の指標に基づくと、本手法は既存のSFDA手法と比較して、ドメイン差違と分類精度の両面で優れているか？

主な発見

• 本手法は、Digitsデータセット（M→U）で98.6%の精度、VisDA（P→G）で84.1%の精度を達成し、最先端のSFDA手法を上回る。
• アブレーションスタディの結果、mixup拡張が性能向上に寄与しており、全損失組み合わせが最良の結果をもたらすことが示された。
• ドメイン対抗損失はA-distanceを79.3（ソースオンリーモデル）から84.1（本手法）に低下させ、ドメインシフトの低減を示している。
• 本手法はバッチサイズに強く、擬似ソースの割合α=0.1で最適な性能を達成し、サンプルの質と量のバランスが取れている。
• t-SNE可視化により、分布整合性がドメインシフトを低減し、擬似ソースドメインとターゲットドメインの特徴がより分離可能であることが確認された。
• SHOTや他のSFDAベースラインと比較して、A-distanceと精度指標の両面で優れた性能を示し、特にドメイン差違の低減において顕著な優位性を示した。

Figure 2: The model structure of the proposed method. $g_{s}$ , $f_{s}$ and $g_{t}$ , $f_{t}$ are the feature extractors and classifiers of the source model and target model, respectively. GRL is the gradient reversal layer and $D$ is the domain discriminator.