[論文レビュー] ECACL: A Holistic Framework for Semi-Supervised Domain Adaptation

Kai Li, Chang Liu+3 more|arXiv (Cornell University)|Apr 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 4

ひとこと要約

本稿では、複数の補完的ドメインアライメント技術を統合する包括的な半教師ありドメイン適応フレームワークECACLを提案する。クラスレベルのアライメント（プロトタイプ損失およびトライアングル損失を用い）、RandAugmentに基づくデータオーギュメンテーション、および二重オーギュメンテーションを用いた一貫性学習を統合することで、SOTAの性能を達成した。VisDA2017（1ショット）では81.1%の平均正答率、DomainNet（1ショット）では53.4%を記録し、従来手法を顕著に上回った。

ABSTRACT

This paper studies Semi-Supervised Domain Adaptation (SSDA), a practical yet under-investigated research topic that aims to learn a model of good performance using unlabeled samples and a few labeled samples in the target domain, with the help of labeled samples from a source domain. Several SSDA methods have been proposed recently, which however fail to fully exploit the value of the few labeled target samples. In this paper, we propose Enhanced Categorical Alignment and Consistency Learning (ECACL), a holistic SSDA framework that incorporates multiple mutually complementary domain alignment techniques. ECACL includes two categorical domain alignment techniques that achieve class-level alignment, a strong data augmentation based technique that enhances the model's generalizability and a consistency learning based technique that forces the model to be robust with image perturbations. These techniques are applied on one or multiple of the three inputs (labeled source, unlabeled target, and labeled target) and align the domains from different perspectives. ECACL unifies them together and achieves fairly comprehensive domain alignments that are much better than the existing methods: For example, ECACL raises the state-of-the-art accuracy from 68.4 to 81.1 on VisDA2017 and from 45.5 to 53.4 on DomainNet for the 1-shot setting. Our code is available at \url{https://github.com/kailigo/pacl}.

研究の動機と目的

• 利用可能なラベル付きターゲットサンプル（ランドマーク）が僅かである一方で、豊富なソースラベル付きデータおよびラベルなしターゲットデータが存在する状況における、半教師ありドメイン適応（SSDA）という未だ十分に検討されていない問題に対処すること。
• 既存のSSDA手法が、損失関数内での寄与度を希釈することで、限られたラベル付きターゲットサンプルが持つ情報的ポ텐シャルを十分に活用できていないという限界を克服すること。
• 複数の補完的ドメインアライメント技術を統合する包括的なフレームワークを設計し、ソースおよびターゲットドメイン間で包括的かつマルチパースペクティブなアライメントを実現すること。
• 強力なデータオーギュメンテーション（RandAugment）とラベルなしターゲットサンプルにおける一貫性学習を組み合わせることで、モデルの汎化性能と頑健性を向上させること。

提案手法

• ECACLは、ラベル付きターゲットランドマークから計算されたクラス固有のターゲットプロトタイプとソース特徴をアライメントさせるためにプロトタイプ損失を採用し、クラスレベルのドメインアライメントを実現する。
• トライアングル損失を適用して、同じクラスのランドマークに近づけ、異なるクラスのランドマークから遠ざけることで、特徴の判別性を高める。
• ラベル付きソースサンプルおよびターゲットランドマークの両方に対してRandAugmentを適用し、顕著に変換されたオーギュメンテーションを生成することで、分類アライメントの難易度を高め、モデルの頑健性を向上させる。
• 一貫性学習は、ラベルなしターゲット画像の軽いオーギュメンテーション版から擬似ラベルを生成し、それを強力なオーギュメンテーション版のターゲットとして用いることで強化され、入力の摂動に対してモデルの頑健性が向上する。
• これらの技術を複数の入力（ラベル付きソース、ラベル付きターゲット、ラベルなしターゲット）にわたって統合することで、多様な視点からの包括的ドメインアライメントを可能にする。
• ECACLはプラグアンドプレイモジュールとして設計されており、MME、HAFN、SAFNなどの既存の教師なしドメイン適応（UDA）手法と互換性があり、アーキテクチャの変更なしに性能を向上させることができる。

Figure 1: Illustration of the proposed ECACL framework. ECACL includes three modules: (1) The unsupervised domain alignment module that performs domain alignment using labeled source and unlabeled target samples. (2) The enhanced categorical alignment module that conducts class-level alignment by ex

実験結果

リサーチクエスチョン

• RQ1 複数の補完的ドメインアライメント技術を統合することで、わずかにラベル付きターゲットサンプルしか利用できない半教師ありドメイン適応において、性能が顕著に向上するか？
• RQ2 強力なデータオーギュメンテーションと一貫性学習と組み合わせた場合、ターゲットランドマークを用いたクラスレベルのアライメントが、ドメインシフトを低減するためにどれほど効果的に活用できるか？
• RQ3 標準的なオーギュメンテーション戦略と比較して、RandAugmentに基づくオーギュメンテーションは、ラベル付きサンプルが少ない状況下でモデルの汎化性能をどの程度向上させるか？
• RQ4 二重オーギュメンテーション（軽いものと強いもの）を用いた一貫性学習は、SSDAにおけるモデルの頑健性を向上させ、ラベル伝搬を促進するか？
• RQ5 ECACLは、既存のUDA手法に柔軟に統合可能であり、異なるベンチマークおよびバックボーンアーキテクチャにおいて一貫した性能向上を達成できるか？

主な発見

• VisDA2017データセットにおいて、1ショット設定下でECACLは81.1%の平均正答率を達成し、従来のSOTA（68.4%）を上回った。
• DomainNetベンチマークでは、1ショット設定下でECACLは53.4%の平均正答率を記録し、前回のSOTA（45.5%）を顕著に上回った。
• 3ショット設定では、VisDA2017で85.3%、DomainNetで83.3%の平均正答率を達成し、ショット数にかかわらず強い汎化性能を示した。
• アブレーションスタディの結果、プロトタイプ損失、トライアングル損失、RandAugment、一貫性学習の各要素が性能向上に意味的に寄与しており、完全なECACLフレームワークが最良の結果をもたらした。
• このフレームワークは非常に柔軟であり、MME、HAFN、SAFNなどの複数のUDAベースラインに対して、プラグインモジュールとして統合することで、性能が向上した。
• 結果から、最小限のラベル付きターゲットデータ（ランドマーク）であっても、マルチパースペクティブなアライメントと頑健な訓練戦略を組み合わせることで、最大限に活用可能であることが示された。

Figure 2: (a): Accuracy with different numbers of labeled samples per class in target domain. (b): Sensitivity analysis with respect to the confident threshold $\sigma$ (Eq. ( 11 )). (c): t-SNE visualization of the learned features of 3 randomly selected classes. Different colors represent different