[논문 리뷰] Probabilistic Contrastive Learning for Domain Adaptation

Junjie Li, Yixin Zhang외 4명|arXiv (Cornell University)|2021. 11. 11.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 확률 기반 대조 학습을 통해 특징을 클래스 가중치와 정렬함으로써 도메인 적응에서 성능을 크게 향상시키는 새로운 비지도 학습 방법인 확률적 대조 학습(PCL)을 제안한다. ℓ₂ 정규화를 제거하고 소프트맥스 확률을 대조 신호로 사용함으로써 특징가 클래스 가중치로부터의 이탈을 줄이며, 지도 학습 및 비지도 학습 도메인 적응, 반지도 학습, 세분화 분석 등 다양한 분야에서 최신 기술(SOTA) 성능을 달성하면서도 학습 비용을 낮춘다.

ABSTRACT

Contrastive learning has shown impressive success in enhancing feature discriminability for various visual tasks in a self-supervised manner, but the standard contrastive paradigm (features+$\ell_{2}$ normalization) has limited benefits when applied in domain adaptation. We find that this is mainly because the class weights (weights of the final fully connected layer) are ignored in the domain adaptation optimization process, which makes it difficult for features to cluster around the corresponding class weights. To solve this problem, we propose the \emph{simple but powerful} Probabilistic Contrastive Learning (PCL), which moves beyond the standard paradigm by removing $\ell_{2}$ normalization and replacing the features with probabilities. PCL can guide the probability distribution towards a one-hot configuration, thus minimizing the discrepancy between features and class weights. We conduct extensive experiments to validate the effectiveness of PCL and observe consistent performance gains on five tasks, i.e., Unsupervised/Semi-Supervised Domain Adaptation (UDA/SSDA), Semi-Supervised Learning (SSL), UDA Detection and Semantic Segmentation. Notably, for UDA Semantic Segmentation on SYNTHIA, PCL surpasses the sophisticated CPSL-D by $>\!2\%$ in terms of mean IoU with a much lower training cost (PCL: 1*3090, 5 days v.s. CPSL-D: 4*V100, 11 days). Code is available at https://github.com/ljjcoder/Probabilistic-Contrastive-Learning.

연구 동기 및 목표

• 표준 대조 학습이 클래스 가중치와의 특징 불일치로 인해 도메인 적응에서 성능이 떨어지는 문제를 해결하기 위해.
• 기존 대조 학습이 특징의 분류 가능성을 향상시키더라도 도메인 적응 성능 향상에 실패하는 이유를 탐구하기 위해.
• 자기지도 사전 학습 중에 특징와 학습된 클래스 가중치 간의 이탈을 명시적으로 줄이는 방법을 제안하기 위해.
• 제안된 방법이 UDA, SSDA, SSL, 세분화 분석 등 다양한 비전 작업으로 일반화되는지를 입증하기 위해.

제안 방법

• ℓ₂ 정규화된 특징를 소프트맥스 확률로 대체하여 대조 신호로 사용함으로써 ℓ₂ 정규화가 필요 없도록 한다.
• 원시 특징 대신 예측된 클래스 확률 기반의 대조 손실을 정의하여 특징가 클래스 가중치 벡터 주변에 응집되도록 유도한다.
• 대조 학습의 주요 신호로 확률 분포 p_i,c = exp(w_c^T f_i) / sum_j exp(w_j^T f_i) 를 사용한다.
• f_i 가 w_c 근처에 있을 때 예측 확률 p_i,c 가 1에 가까워지도록 모델을 최적화함으로써 클래스 가중치로부터의 이탈을 최소화한다.
• 아키텍처 변경 없이 기존 도메인 적응 프레임워크에 PCL를 통합하여 즉시 사용 가능한 플러그 앤 플레이 배포를 가능하게 한다.
• 분류기 헤드에 통합함으로써 이미지 분류, 객체 검출, 세분화 분석 등 다양한 작업에 PCL를 적용한다.

Figure 1 : Feature Contrastive Learning ( FSL ) vs . Probabilistic Contrastive Learning ( PCL ). With PCL, the features on target domain can be clustered around the corresponding class weights.

실험 결과

연구 질문

• RQ1 표준 대조 학습이 특징의 분류 가능성을 향상시키더라도 비지도 도메인 적응에서 성능 향상에 실패하는 이유는 무엇인가?
• RQ2 특징와 클래스 가중치 간의 이탈이 도메인 적응에서 모델 성능을 얼마나 떨어뜨리는가?
• RQ3 대조 학습에서 특징 대신 확률을 사용함으로써 특징-클래스 가중치 이탈을 효과적으로 줄일 수 있는가?
• RQ4 PCL는 반지도 학습 및 세분화 분석과 같은 다양한 학습 철학에 어떻게 일반화되는가?

주요 결과

• SYNTHIA 세분화 분석에서 PCL는 CPSL-D보다 2.1%p 평균 IoU 향상을 보였으며, 1×3090 GPU와 5일 학습으로 달성했고, CPSL-D는 4×V100과 11일 소요되었다.
• DomainNet(7개 SSDA 작업)에서 PCL는 3샷 지도 학습으로 76.9% 정확도를 달성하여 CLDA(75.3%)를 초월하고 ECACL-P 및 FixMatch 기반 CDAC와 동등한 성능을 보였다.
• CIFAR-100에서 400개 레이블로 반지도 학습을 수행한 결과, PCL는 FixMatch의 정확도를 53.58%에서 57.62%로 향상시켜 +4.04%p 향상되었다.
• Office-Home(12개 SSDA 작업)에서 PCL는 FixMatch 없이도 최신 기술 성능을 달성했으며, FixMatch와 조합할 경우 더욱 향상되었다.
• Cityscapes에서 UDA 검출 작업에서 PCL는 RPA를 45.3%에서 47.8% AP로 향상시켜 객체 검출에서의 효과성을 입증했다.
• 절단 분석 결과, ℓ₂ 정규화 제거와 확률 사용이 핵심임을 확인했으며, 이들의 부재는 성능 저하로 이어졌다.

Figure 2 : An explorative study under the Semi-Supervised Domain Adaptation (SSDA) setting on DomainNet (R $\rightarrow$ S) [ 52 ] with 3-shot and ResNet34. We use MME [ 59 ] as a baseline model to verify the effect of FCL and PCL.