[論文レビュー] Multi-Source domain adaptation via supervised contrastive learning and confident consistency regularization

Marin Scalbert, Maria Vakalopoulou+1 more|arXiv (Cornell University)|Jun 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 10

ひとこと要約

本稿では、複数のソースドメイン間のクラス条件付き分布を整合化し、ターゲットドメインの適応に一貫性正則化とハードな疑似ラベル付けを組み合わせる、新しいマルチソース非教師付きドメイン適応フレームワークであるCMSDAを提案する。本手法は、混合ソースサンプル上で補間された交差エントロピー損失とコントラスト損失を同時に最適化することで、3つの標準的なマルチソースUDAベンチマークで最先端の性能を達成する。

ABSTRACT

Multi-Source Unsupervised Domain Adaptation (multi-source UDA) aims to learn a model from several labeled source domains while performing well on a different target domain where only unlabeled data are available at training time. To align source and target features distributions, several recent works use source and target explicit statistics matching such as features moments or class centroids. Yet, these approaches do not guarantee class conditional distributions alignment across domains. In this work, we propose a new framework called Contrastive Multi-Source Domain Adaptation (CMSDA) for multi-source UDA that addresses this limitation. Discriminative features are learned from interpolated source examples via cross entropy minimization and from target examples via consistency regularization and hard pseudo-labeling. Simultaneously, interpolated source examples are leveraged to align source class conditional distributions through an interpolated version of the supervised contrastive loss. This alignment leads to more general and transferable features which further improves the generalization on the target domain. Extensive experiments have been carried out on three standard multi-source UDA datasets where our method reports state-of-the-art results.

研究の動機と目的

• 大規模なドメインシフト下で一般化性能が低下する既存のマルチソースUDA手法が、ドメイン間でクラス条件付き分布を適切に整合化できないという限界を解消すること。
• 補間された教師付きコントラスト損失の変種を用いて、明示的にソースドメインのクラス条件付き分布を統合することで、特徴の転送可能性を向上させること。
• ラベルなしターゲットデータに対して一貫性正則化とハードな疑似ラベル付けを適用することで、ターゲットドメインにおけるロバスト性と一般化性能を強化すること。
• ソースドメインに対してMixUp風のデータ拡張を活用し、特徴の多様性を向上させるとともにモデルのキャリブレーションを改善すること。

提案手法

• フレームワークは、MixUpを用いてソース例を補間して混合訓練サンプルを生成し、それらを用いて標準的な交差エントロピー損失と補間された教師付きコントラスト損失の両方を計算する。
• 補間されたソースサンプルに教師付きコントラスト損失を適用することで、異なるソースドメイン間で同じクラスの特徴がクラスタリングされるよう促進され、クラス条件付き分布の整合化が向上する。
• ターゲットドメインでは、同じモデルに対して異なる増幅処理を施し、一貫性正則化を適用する。この際、信頼度が閾値τを超える高信頼度の疑似ラベル付きサンプルのみが非教師付き損失に使用される。
• 最終的な目的関数は、ラベル付きソースデータにおける教師付き交差エントロピー損失、混合ソースサンプルにおける補間されたコントラスト損失、およびハード疑似ラベルを用いたラベルなしターゲットデータに対する一貫性正則化非教師付き損失を統合することで構成される。
• コントラスト損失における温度ハイパーパrameter T は、特徴の均一性と許容性のバランスを取るために用いられ、T=0.1 が最適な性能をもたらすことが判明した。
• モデルは、ソースでの判別的特徴学習とターゲットでのドメイン不変適応を両立させるため、統合的な目的関数に基づいてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 教師付きコントラスト学習をマルチソースドメイン適応に効果的に拡張でき、異なるソースドメイン間でクラス条件付き分布を整合化できるか？
• RQ2 MixUpによるソースサンプルの補間は、ドメイン適応モデルの一般化性能とロバスト性をどのように向上させるか？
• RQ3 マルチソースUDAにおけるコントラスト損失において、均一性と許容性の最適なバランスは何か？また、温度Tの値が性能に与える影響は？
• RQ4 疑似ラベル付けにおける信頼度閾値τの選択が、ターゲットドメイン適応の安定性と精度に与える影響は？
• RQ5 コントラスト学習と一貫性正則化の組み合わせは、大規模なドメインシフト下でもマルチソースUDAで最先端の結果を達成できるか？

主な発見

• CMSDAは、MiniDomainNet、Office-Home、VisDA-2017の3つの標準的なマルチソースUDAベンチマークで、最先端の性能を達成した。
• MiniDomainNetでは、全ターゲットドメインで平均87.4%の精度を達成し、以前の最先端手法を上回った。
• アブレーションスタディの結果、補間されたコントラスト損失を用いることで性能が顕著に向上し、特にドメインシフトが大きい状況で顕著であった。
• コントラスト損失の最適な温度Tは0.1であると特定され、特徴の均一性とクラス耐性のバランスを最適に取っていた。
• 信頼度閾値τ=0.95が、有用な疑似ラベルの使用とノイズの回避の最良のトレードオフをもたらし、τ > 0.95 または τ < 0.9 の場合に性能が低下した。
• モデルは負の転送に対してもロバストであり、ソースドメインが非常に多様またはマルチモーダルであっても高い性能を維持した。