[論文レビュー] Probabilistic Contrastive Learning for Domain Adaptation

Junjie Li, Yixin Zhang+4 more|arXiv (Cornell University)|Nov 11, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、特徴ベースの対照学習を確率ベースの学習に置き換えることで、クラス重みと特徴を整合させる確率的対照学習（PCL）を提案する。この手法により、ドメイン適応における性能が顕著に向上し、ℓ₂正則化を排除し、ソフトマックス確率を対照信号として用いることで、特徴がクラス重みから逸脱するのを低減する。PCLは、自己教師あり事前学習中に特徴と学習されたクラス重みの乖離を明示的に低減する方法を提供し、自己教師ありドメイン適応、半教師ありドメイン適応、半教師あり学習、セマンティックセグメンテーションを含む複数のビジョンタスクに一般化可能であり、トレーニングコストを低減しながら最先端の結果を達成する。

ABSTRACT

Contrastive learning has shown impressive success in enhancing feature discriminability for various visual tasks in a self-supervised manner, but the standard contrastive paradigm (features+$\ell_{2}$ normalization) has limited benefits when applied in domain adaptation. We find that this is mainly because the class weights (weights of the final fully connected layer) are ignored in the domain adaptation optimization process, which makes it difficult for features to cluster around the corresponding class weights. To solve this problem, we propose the \emph{simple but powerful} Probabilistic Contrastive Learning (PCL), which moves beyond the standard paradigm by removing $\ell_{2}$ normalization and replacing the features with probabilities. PCL can guide the probability distribution towards a one-hot configuration, thus minimizing the discrepancy between features and class weights. We conduct extensive experiments to validate the effectiveness of PCL and observe consistent performance gains on five tasks, i.e., Unsupervised/Semi-Supervised Domain Adaptation (UDA/SSDA), Semi-Supervised Learning (SSL), UDA Detection and Semantic Segmentation. Notably, for UDA Semantic Segmentation on SYNTHIA, PCL surpasses the sophisticated CPSL-D by $>\!2\%$ in terms of mean IoU with a much lower training cost (PCL: 1*3090, 5 days v.s. CPSL-D: 4*V100, 11 days). Code is available at https://github.com/ljjcoder/Probabilistic-Contrastive-Learning.

研究の動機と目的

• 標準の対照学習がクラス重みとの特徴の不整合によりドメイン適応で性能が劣るために、その問題を解決すること。
• 特徴の判別性が向上しても対照学習がドメイン適応の性能向上に寄与しない理由を解明すること。
• 自己教師あり事前学習中に特徴と学習されたクラス重みの乖離を明示的に低減する手法を提案すること。
• 提案手法が、UDA、SSDA、SSL、セマンティックセグメンテーションを含む複数のビジョンタスクに一般化できるかを実証すること。

提案手法

• ℓ₂正則化された特徴の代わりに、ソフトマックス確率を対照信号として用い、ℓ₂正則化の必要性を排除する。
• 生の特徴の代わりに予測クラス確率に基づく対照損失を定式化し、特徴がクラス重みベクトルの周囲に集束するよう促進する。
• 対照学習の主な信号として、p_i,c = exp(w_c^T f_i) / sum_j exp(w_j^T f_i) の確率分布を用いる。
• f_i が w_c に近い場合に予測確率 p_i,c が1に近づくようにモデルを最適化し、クラス重みからの乖離を最小化する。
• アーキテクチャの変更なしに既存のドメイン適応フレームワークにPCLを統合し、プラグアンドプレイでの導入を可能にする。
• 分類器ヘッドに統合することで、画像分類、オブジェクト検出、セマンティックセグメンテーションなど、さまざまなタスクにPCLを適用する。

Figure 1 : Feature Contrastive Learning ( FSL ) vs . Probabilistic Contrastive Learning ( PCL ). With PCL, the features on target domain can be clustered around the corresponding class weights.

実験結果

リサーチクエスチョン

• RQ1 なぜ標準の対照学習は特徴の判別性を向上させても、自己教師ありドメイン適応の性能向上に寄与しないのか？
• RQ2 特徴とクラス重みの乖離がドメイン適応におけるモデル性能をどの程度悪化させるのか？
• RQ3 対照学習において特徴の代わりに確率を使用することで、特徴-クラス重み乖離を効果的に低減できるか？
• RQ4 PCLは、半教師あり学習やセマンティックセグメンテーションといった異なる学習パラダイムにどの程度一般化できるか？

主な発見

• SYNTHIAのセマンティックセグメンテーションにおいて、PCLはCPSL-Dと比較してmIoUで2.1%の絶対的向上を達成し、1×3090 GPUと5日間のトレーニングで、CPSL-Dの4×V100と11日間のトレーニングを上回る。
• DomainNet（7つのSSDAタスク）において、PCLは3ショットの監視情報で76.9%の精度を達成し、CLDA（75.3%）を上回り、ECACL-PおよびFixMatchを搭載したCDACと同等の性能を示した。
• CIFAR-100における半教師あり学習（400ラベル）において、PCLはFixMatchの精度を53.58%から57.62%まで向上させ、+4.04%の向上を達成した。
• Office-Home（12のSSDAタスク）において、PCLはFixMatchを用いなくても最先端の性能を達成し、CDAC や ECACL-P を上回った。さらにFixMatchと組み合わせることで、さらなる向上が得られた。
• CityscapesにおけるUDA検出タスクにおいて、PCLはRPAを45.3%から47.8% APまで向上させ、オブジェクト検出における有効性を実証した。
• アブレーションスタディの結果、ℓ₂正則化の削除と確率の使用が重要であることが確認され、それらを省略すると性能が低下した。

Figure 2 : An explorative study under the Semi-Supervised Domain Adaptation (SSDA) setting on DomainNet (R $\rightarrow$ S) [ 52 ] with 3-shot and ResNet34. We use MME [ 59 ] as a baseline model to verify the effect of FCL and PCL.