[논문 리뷰] Joint Contrastive Learning for Unsupervised Domain Adaptation

Changhwa Park, Jonghyun Lee외 3명|arXiv (Cornell University)|2020. 06. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 53인용 수 22

한 줄 요약

이 논문은 공동 가설 오차를 명시적으로 최소화함으로써 대비 학습을 통한 특징과 레이블 간 상호정보를 최대화하는 새로운 비지도 도메인 적응 방법인 공동 대비 학습(Joint Contrastive Learning, JCL)을 제안한다. 소스-레이블 데이터와 타겟-미레이블 데이터를 함께 최적화함으로써 JCL는 특징의 분류 가능성을 향상시키고, VisDA-2017에서 최신 기준 성능(SoTA)을 달성하여 가장 도전적인 클래스에서 이전 방법보다 최대 6.9% 향상된 성능을 기록한다.

ABSTRACT

Enhancing feature transferability by matching marginal distributions has led to improvements in domain adaptation, although this is at the expense of feature discrimination. In particular, the ideal joint hypothesis error in the target error upper bound, which was previously considered to be minute, has been found to be significant, impairing its theoretical guarantee. In this paper, we propose an alternative upper bound on the target error that explicitly considers the joint error to render it more manageable. With the theoretical analysis, we suggest a joint optimization framework that combines the source and target domains. Further, we introduce Joint Contrastive Learning (JCL) to find class-level discriminative features, which is essential for minimizing the joint error. With a solid theoretical framework, JCL employs contrastive loss to maximize the mutual information between a feature and its label, which is equivalent to maximizing the Jensen-Shannon divergence between conditional distributions. Experiments on two real-world datasets demonstrate that JCL outperforms the state-of-the-art methods.

연구 동기 및 목표

• 도메인 적응에서 목표 오차 상한선에 영향을 미치는 공동 가설 오차의 부족한 고려를 해결함으로써 이론적 보장을 약화시키는 문제를 해결한다.
• 일반 분포 일치 이론을 넘어서 클래스 수준의 분리 가능성을 희생시키지 않고 특징의 분류 가능성을 향상시키는 것을 목표로 한다.
• 공동 오차를 최소화하기 위해 레이블이 부여된 소스 데이터와 레이블이 없는 타겟 데이터를 모두 활용하는 공동 최적화 프레임워크를 개발한다.
• 특징과 레이블 간 상호정보를 최대화하는 것이 클래스별 분류 가능성을 향상시키는 수단으로 이론적으로 정당화한다.
• 정보 이론에 기반한 대비 학습 목표를 통해 비지도 도메인 적응에서 최신 기준 성능(SoTA)을 달성한다.

제안 방법

• 공동 가설 오차를 명시적으로 포함하는 목표 오차에 대한 새로운 상한선을 제안하여 이 항목을 직접 최적화할 수 있도록 한다.
• 소스-레이블 데이터와 타겟-미레이블 데이터의 표현을 함께 최적화하는 대비 학습 프레임워크인 공동 대비 학습(Joint Contrastive Learning, JCL)을 도입한다.
• InfoNCE 대비 손실을 사용하여 학습된 특징과 진짜 레이블 간의 상호정보를 최대화하며, 이는 클래스 조건부 분포 간 제닝-숄린 분산을 최대화하는 것과 동치이다.
• 두 도메인의 특징이 레이블 일관성에 기반해 정렬되는 공동 임bedding 공간을 활용하여 분류 가능성을 향상시킨다.
• 대비 손실과 다른 목표 간의 균형을 조절하기 위해 하이퍼파ram터 γ를 도입하였으며, 실험 결과 γ의 변동에 대해 높은 안정성을 보였다.
• t-SNE 시각화를 통해 JCL가 DANN과 같은 기준 방법보다 더 잘 분리되고 클래스에 민감한 특징을 생성하는 것으로 확인하였다.

실험 결과

연구 질문

• RQ1 공동 가설 오차는 도메인 적응에서 목표 오차의 이론적 상한선에 어떤 영향을 미치는가?
• RQ2 특징과 레이블 간 상호정보를 최대화하는 것이 일반 분포 일치보다 더 나은 특징 분류 가능성을 이끌 수 있는가?
• RQ3 소스 및 타겟 도메인에 대한 공동 최적화가 비지도 도메인 적응에서 일반화 성능을 향상시키는가?
• RQ4 실세계 벤치마크에서 최신 기준 성능(SoTA) 방법과 비교해 본 결과, 정확도와 내성에 있어 어떤 성능을 보이는가?
• RQ5 실제로 대비 학습 목표가 이상적인 공동 가설 오차를 어느 정도 감소시키는가?

주요 결과

• JCL는 ResNet-101을 사용하여 VisDA-2017 벤치마크에서 평균 87.6%의 정확도를 기록하여 이전 SoTA 방법인 CAN보다 0.4% 높은 성능을 달성하였다.
• 가장 도전적인 클래스인 '트럭'에서 JCL는 CAN 대비 정확도를 6.9% 향상시켰다(59.9%에서 66.8%로).
• JCL가 학습한 표현에 대한 선형 분류기 오차는 DANN가 학습한 특징보다 유의미하게 낮아, 공동 가설 오차가 감소한 것으로 나타났다.
• 제거 실험 결과, JCL는 하이퍼파ram터 γ에 대해 뛰어난 안정성을 보였으며, 다양한 값에서도 성능이 일관되게 유지되었다.
• t-SNE 시각화 결과, JCL는 DANN보다 타겟 도메인에서 더 분류 가능하고 잘 분리된 특징을 생성하는 것으로 확인되었다.
• 대부분의 표현 학습에서 엔트로피와 조건부 엔트로피 간의 효과적인 트레이드오프를 실현하여 열악한 해법을 피하는 데 성공했다.