[논문 리뷰] Contrastive Adaptation Network for Unsupervised Domain Adaptation

Guoliang Kang, Lu Jiang외 2명|arXiv (Cornell University)|2019. 01. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 102

한 줄 요약

CAN은 비지도 도메인 적응을 위한 클래스 인지 대비 차이(CDD)를 도입하고, Office-31에서 최첨단 결과를, VisDA-2017에서 경쟁력 있는 결과를 얻기 위해 더 구별력 있고, 클래스 내부는 응집되고 클래스 간은 분리된 특징을 학습합니다.

ABSTRACT

Unsupervised Domain Adaptation (UDA) makes predictions for the target domain data while manual annotations are only available in the source domain. Previous methods minimize the domain discrepancy neglecting the class information, which may lead to misalignment and poor generalization performance. To address this issue, this paper proposes Contrastive Adaptation Network (CAN) optimizing a new metric which explicitly models the intra-class domain discrepancy and the inter-class domain discrepancy. We design an alternating update strategy for training CAN in an end-to-end manner. Experiments on two real-world benchmarks Office-31 and VisDA-2017 demonstrate that CAN performs favorably against the state-of-the-art methods and produces more discriminative features.

연구 동기 및 목표

• 클래스 정보를 활용하고 단지 도메인 정합에 의존하는 것이 아닌 비지도 도메인 적응을 촉진한다.
• intra-class 도메인 차이를 최소화하고 inter-class 도메인 차이를 최대화하는 새로운 Contrastive Domain Discrepancy (CDD)를 제안한다.
• 타겟 레이블 추정과 특징 적응을 번갈아가며 수행하는 엔드투엔드 학습 프레임워크(CAN)를 개발한다.
• 클래스 인지 정렬이 더 구별력 있는 특징과 벤치마크 데이터셋에서의 더 나은 일반화로 이어짐을 보인다.

제안 방법

• Contrastive Domain Discrepancy (CDD)를 정의하여 intra-class와 inter-class 도메인 차이를 측정한다.
• MMD 기반 공식화를 사용하여 intra-class 차이를 최소화하고 inter-class 차이를 최대화한다.
• CDD를 심층 네트워크에 손실 항으로 임베딩하고, 가중치 β를 갖는 태스크-특정 FC 레이어 위에 두는 방식(Eq. 8).
• CAN을 교대 최적화를 통해 학습: 구형(K-means)으로 타깃 레이블을 클러스터링하고, 이어서 CDD(Eq. 6, 3.2)를 사용해 특징을 적응하도록 역전파한다.
• 클래스 인지 샘플링(CAS)을 사용하여 미니 배치가 각 클래스에 대해 다수의 도메인을 포함하도록 보장해 신뢰할 수 있는 CDD 추정을 가능하게 한다.
• 클러스터링 중 모호한 타깃 데이터/클래스를 제거하고 점차 더 많은 클래스를 포함하는 점진적 학습을 채택한다.

실험 결과

연구 질문

• RQ1 Contrastive Domain Discrepancy를 통한 클래스 정보를 도입하는 것이 클래스 무관한 접근법과 비교하여 비지도 도메인 적응을 향상시키는가?
• RQ2 CAN이 표준 UDA 벤치마크(Office-31, VisDA-2017)에서 최첨단 방법과 비교하여 더 우수한 성능을 달성할 수 있는가?
• RQ3 intra-class 컴팩트성과 inter-class 구분성이 타깃 도메인 구분성과 일반화에 어떻게 기여하는가?
• RQ4 대안적 최적화(AO) 및 클래스 인지 샘플링(CAS)이 CAN의 효과성에 어떤 역할을 하는가?

주요 결과

• CAN은 ResNet-50(CAN)으로 Office-31에서 평균 정확도 90.6%를 달성, intra-class만 사용할 때의 89.5%보다 높고 경쟁 방법들보다 우수하다.
• VisDA-2017(검증 세트)에서 ResNet-101로 평균 정확도 87.2%를 달성하며 여러 베이스라인을 능가하고 테스트 세트에서 단일 모델로 87.4%의 경쟁적 결과를 달성한다.
• 클래스 인지 정렬(CDD)이 순수하게 intra-class 정렬보다 성능을 향상시키며, 클래스 간 도메인 차이를 최대화하는 것이 일반화에 도움이 됨을 시사한다.
• 변형 제거 연구(Ablation)에서 AO와 CAS가 성능 향상에 기여하며, CAN은 이러한 구성 요소가 없는 변형들보다 더 나은 성능을 보인다.
• 시각화(t-SNE)는 CAN이 JAN보다 더 높은 클래스내 응집도와 더 큰 클래스간 마진을 보임을 시사한다.
• CAN은 Office-31에서 최상위 공개 결과를 얻고 VisDA-2017에서도 매우 경쟁력 있어, 효과적인 클래스 인지 도메인 적응을 보여준다.