[論文レビュー] Multi-level Consistency Learning for Semi-supervised Domain Adaptation

Zizheng Yan, Yushuang Wu+4 more|arXiv (Cornell University)|May 9, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、半教師ありドメイン適応のための新しいフレームワークであるマルチレベル一貫性学習（MCL）を提案する。MCLは、3つのレベルで一貫性を強制する：ドメイン間のアライメント（プロトタイプベース最適輸送による）、ドメイン内でのクラスごとの対照的クラスタリングによる特徴のコンパクトさと判別性の向上、およびデータ拡張によるサンプルレベルの予測一貫性。MCLはVisDA2017、DomainNet、Office-Homeで最先端性能を達成し、1ショット設定下で最大3%の精度向上を実現した。

ABSTRACT

Semi-supervised domain adaptation (SSDA) aims to apply knowledge learned from a fully labeled source domain to a scarcely labeled target domain. In this paper, we propose a Multi-level Consistency Learning (MCL) framework for SSDA. Specifically, our MCL regularizes the consistency of different views of target domain samples at three levels: (i) at inter-domain level, we robustly and accurately align the source and target domains using a prototype-based optimal transport method that utilizes the pros and cons of different views of target samples; (ii) at intra-domain level, we facilitate the learning of both discriminative and compact target feature representations by proposing a novel class-wise contrastive clustering loss; (iii) at sample level, we follow standard practice and improve the prediction accuracy by conducting a consistency-based self-training. Empirically, we verified the effectiveness of our MCL framework on three popular SSDA benchmarks, i.e., VisDA2017, DomainNet, and Office-Home datasets, and the experimental results demonstrate that our MCL framework achieves the state-of-the-art performance.

研究の動機と目的

• 既存の半教師ありドメイン適応（SSDA）手法が、サンプルレベルを超えた一貫性正則化を十分に活用していないという限界を是正すること。
• 複数のビューを活用したプロトタイプベース最適輸送とマルチビューのターゲットサンプル一貫性を統合することで、ソースドメインとターゲットドメイン間のロバストなドメインアライメントを向上させること。
• 新しいクラスごとの対照的クラスタリング損失を導入することで、予測空間における同じクラス内での相関を高め、異なるクラス間の相関を低くすることで、ターゲットドメインにおける特徴学習を強化すること。
• ドメイン間、ドメイン内、サンプルレベルの一貫性を統合した一貫性のあるフレームワークを構築し、低ショットのターゲットラベル条件下での一般化性能を向上させること。

提案手法

• ドメイン間レベルでは、MCLはプロトタイプベース最適輸送法を用いて、異なるビューにおけるターゲットサンプルとソースプロトタイプの間のマッピングを計算し、ドメインアライメントの一貫性を強制する。
• 本手法は、ターゲットサンプルの2つの拡張ビューの予測間の類似度を計算するための新しいクラスごとのクロス相関行列を導入し、コンパクトで判別性の高い特徴クラスタを促進する。
• ドメイン内レベルでは、予測空間において同じクラス内での相関を高め、異なるクラス間での相関を低減するため、クラスごとの対照的クラスタリング損失を提案する。
• サンプルレベルでは、同じターゲットサンプルの弱拡張および強拡張ビュー間で予測の一貫性を強制することで、標準的一致性正則化を適用する。
• フレームワークは3つの損失成分を統合する：ドメイン間アライメント損失、ドメイン内対照的クラスタリング損失、およびサンプルレベルの予測一貫性損失であり、エンドツーエンドで訓練される。
• プロトタイプベース最適輸送戦略により、ターゲットサンプルの補完的ビューを活用してソースからターゲットへのドメインアライメントを精緻化し、ロバスト性が向上する。

実験結果

リサーチクエスチョン

• RQ1 一貫性正則化をサンプルレベルを越えて効果的に拡張することで、半教師ありドメイン適応の性能を向上させることができるか？
• RQ2 ターゲットサンプルの複数のビューを活用することで、ドメイン間アライメントのロバスト性と正確性をどのように向上させられるか？
• RQ3 クラスごとの対照的クラスタリングは、サンプル単位の代替手法に比べて、よりコンパクトで判別性の高いターゲット特徴表現をもたらすか？
• RQ4 マルチレベル一貫性学習は、VisDA2017、DomainNet、Office-Homeといった標準的なSSDAベンチマークで、どの程度性能を向上させるか？

主な発見

• 1ショット設定下で、VisDA2017では86.3%の平均クラス正解率を達成し、以前の最先端手法を3%以上上回った。
• Office-Homeデータセットでは、A→R設定で3ショット条件下で84.3%の正解率を達成し、先行手法を1.4ポイント上回った。
• アブレーションスタディの結果、ドメイン間、ドメイン内、サンプルレベルの一貫性の3要素すべてが性能向上に顕著に寄与しており、完全なモデルが最良の結果を達成した。
• プロトタイプベース最適輸送法は、標準的なサンプル単位最適輸送に比べてドメインシフトをより効果的に低減し、DomainNetのC→Sで3.5%、P→Rで2.1%の精度向上を達成した。
• クラスごとの対照的クラスタリング損失は、低ショット設定下でサンプル単位相関を上回る性能を示し、コンパクトで判別性の高い特徴の学習の有効性を実証した。
• 本フレームワークは、1ショットおよび3ショット設定の両方において、VisDA2017、DomainNet、Office-Homeの3つのベンチマークで一貫した性能向上を達成した。