[論文レビュー] CLDA: Contrastive Learning for Semi-Supervised Domain Adaptation

Ankit Singh|arXiv (Cornell University)|Jun 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 12

ひとこと要約

本稿では、教師なしドメイン適応（UDA）手法が限られたラベル付きターゲットデータを有する半教師ありドメイン適応（SSDA）設定において一般化性能が低い問題を解決することを目的として、CLDAを提案する。CLDAは、ソースドメインとターゲットドメインのクラスごとの重心間のクラスごとの対照的アライメントと、元の画像と拡張済みのラベルなしターゲット画像間のインスタンスレベルの対照的アライメントを用いて、ドメイン間およびドメイン内乖離を同時に最小化する対照的学習フレームワークである。CLDAは、DomainNet、Office-Home、Office31のベンチマークで最先端の性能を達成し、ラベル付きターゲットデータが少ない状況下でも優れた一般化性能を示している。

ABSTRACT

Unsupervised Domain Adaptation (UDA) aims to align the labeled source distribution with the unlabeled target distribution to obtain domain invariant predictive models. However, the application of well-known UDA approaches does not generalize well in Semi-Supervised Domain Adaptation (SSDA) scenarios where few labeled samples from the target domain are available. In this paper, we propose a simple Contrastive Learning framework for semi-supervised Domain Adaptation (CLDA) that attempts to bridge the intra-domain gap between the labeled and unlabeled target distributions and inter-domain gap between source and unlabeled target distribution in SSDA. We suggest employing class-wise contrastive learning to reduce the inter-domain gap and instance-level contrastive alignment between the original (input image) and strongly augmented unlabeled target images to minimize the intra-domain discrepancy. We have shown empirically that both of these modules complement each other to achieve superior performance. Experiments on three well-known domain adaptation benchmark datasets namely DomainNet, Office-Home, and Office31 demonstrate the effectiveness of our approach. CLDA achieves state-of-the-art results on all the above datasets.

研究の動機と目的

• 限られたラベル付きターゲットデータを有する半教師ありドメイン適応（SSDA）設定において、教師なしドメイン適応（UDA）手法の一般化性能が低い問題に対処すること。
• SSDAにおけるドメイン間乖離（ソースドメインとターゲットドメイン間）およびドメイン内乖離（ラベル付きとラベルなしターゲットサンプル間）を両方低減すること。
• 特徴の識別性とドメイン不変性を向上させる、単一段階でエンドツーエンドに最適化可能な対照的学習フレームワークを構築すること。
• さまざまなデータおよび増幅設定下で、対照的学習の構成要素（クラスレベルおよびインスタンスレベルのアライメント）の有効性を調査すること。
• ラベル付きターゲットデータが少ない状況下で、ノイズの多いラベルへの耐性およびハイパーパrameterへの感受性を示すこと。

提案手法

• 同じクラスに属するソースドメインとターゲットドメインのクラス重心間の類似度を最適化することでドメイン間対照的アライメントを実装し、同時に異なるクラスの重心間の距離を最大化する。
• ラベルなしターゲット画像の元の画像と強化されたビューの間の特徴の一貫性を促進することで、インスタンスレベルの対照的アライメントを実装する。
• 対照的学習のためのターゲット特徴を生成するために、モーメンタム更新付きエンコーダーを用い、学習の安定化と表現品質の向上を図る。
• モデルの予測を用いてラベルなしターゲットサンプルの疑似ラベルを生成し、クラスごとの対照的アライメントを可能にする。この疑似ラベルは学習中に定期的に更新される。
• 両方の対照的目的を、学習可能な重みハイパーパramータ（αおよびβ）を用いて統合した一貫性のある学習目的に統合する。
• インスタンスレベルの対照的学習における特徴のロバスト性を向上させるために、強化ポリシーとしてRandAugmentにグレースケール増幅を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 対照的学習は、半教師ありドメイン適応においてドメイン間およびドメイン内乖離を効果的に低減できるか？
• RQ2 クラスごとの対照的アライメントとインスタンスレベルの対照的アライメントを組み合わせることで、ラベル付きターゲットデータが少ない状況下でのモデルの一般化性能がどのように向上するか？
• RQ3 異なる増幅ポリシーが、SSDAにおけるインスタンスレベルの対照的アライメントの性能に与える影響は何か？
• RQ4 提案されたフレームワークは、限られたターゲットドメインのラベルにノイズが含まれる場合にも耐性を示すか？
• RQ5 CLDAにおける2つの対照的目的をバランスさせるために、最適なハイパーパramータ（例：α、β、μ）の設定は何か？

主な発見

• CLDAは、すべての3つのベンチマークデータセット（DomainNet、Office-Home、Office31）で最先端の性能を達成し、既存のSSDA手法を上回った。
• 3ショットのOffice-Home Rl→Prタスクでは、CLDAは72.4％のテスト精度を達成した。強化ポリシーとして単純な水平反転ではなく、グレースケールを含むRandAugmentを使用した場合、4％の性能向上が得られた。
• アブレーションスタディの結果、インスタンスレベルの対照的アライメントを削除すると、精度は72.4％から70.7％に低下し、その重要性が確認された。
• モデルの予測ではなくK-meansを用いて疑似ラベルを生成した場合、精度は72.4％から71.2％に低下した。これは、モデルベースの疑似ラベル生成の優位性を示している。
• ノイズの多いラベルに対してフレームワークは頑健であり、Pr→Ar 1ショットタスクで25％のラベルが誤ってラベル付けされても、精度はわずか0.5％低下した。
• ハイパーパramータ分析の結果、α = 4およびμ = 4が最適な性能をもたらし、これらの値から逸脱すると性能が低下することが判明した。