[논문 리뷰] Unsupervised domain adaptation via coarse-to-fine feature alignment method using contrastive learning

Shiyu Tang, Peijun Tang외 3명|arXiv (Cornell University)|2021. 03. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 5

한 줄 요약

이 논문은 의미 분할을 위한 새로운 비지도 도메인 적응 방법인 CFContra를 제안한다. 이 방법은 원천 도메인과 타겟 도메인 간의 거친부터 세밀한 수준까지의 특징 정렬을 달성하기 위해 대조 학습을 사용한다. 대비 손실과 엔트로피 최소화를 동시에 최적화하고 효율적인 메모리 백업 전략을 적용함으로써, GTA5에서 Cityscapes로의 변환에서 MinEnt 대비 mIOU를 3.5점 향상시켜 최신 기술 수준의 성능을 달성하였으며, 학습 안정성과 메모리 효율성도 향상되었다.

ABSTRACT

Previous feature alignment methods in Unsupervised domain adaptation(UDA) mostly only align global features without considering the mismatch between class-wise features. In this work, we propose a new coarse-to-fine feature alignment method using contrastive learning called CFContra. It draws class-wise features closer than coarse feature alignment or class-wise feature alignment only, therefore improves the model's performance to a great extent. We build it upon one of the most effective methods of UDA called entropy minimization to further improve performance. In particular, to prevent excessive memory occupation when applying contrastive loss in semantic segmentation, we devise a new way to build and update the memory bank. In this way, we make the algorithm more efficient and viable with limited memory. Extensive experiments show the effectiveness of our method and model trained on the GTA5 to Cityscapes dataset has boost mIOU by 3.5 compared to the MinEnt algorithm. Our code will be publicly available.

연구 동기 및 목표

• 기존의 비지도 도메인 적응 방법들이 전역 특징 분포 정렬에만 집중하여 클래스별 특징 불일치를 고려하지 않는 한계를 해결하기 위해.
• 대조 학습을 활용하여 적대적 학습 없이도 클래스별 특징을 도메인 간에 정렬할 수 있는 강력한 방법을 개발하기 위해.
• 동적 메모리 백업 업데이트 전략을 도입하여 의미 분할의 대조 학습에서 학습 효율성과 메모리 사용을 향상시키기 위해.
• 대비 손실과 엔트로피 최소화를 조합하여 결정 경계를 특징 클러스터에서 멀리 밀어내어 모델 일반화 능력을 향상시키기 위해.

제안 방법

• 경량 스타일 전이를 위해 적응형 인스턴스 정규화(AdaIN)를 적용하여 원천 도메인에서 타겟 도메인으로의 초기 특징 정렬을 가능하게 한다.
• 원천 도메인의 클래스 중심에 가까운 타겟 특징에 대해 의사 레이블을 할당하며, 이는 이중 도메인 간의 클래스별 특징 유사성을 가정한다.
• 각 도메인의 각 클래스별로 메모리 백업을 구성하고, 배치 단위 평균 특징을 사용하여 업데이트함으로써 계산 비용과 메모리 점유율을 감소시킨다.
• 온도 조정된 InfoNCE 손실을 사용한 온도 조절 대비 손실을 최적화하며, 어려운 음성 예측의 처리를 후기 학습 단계로 연기하여 안정성을 향상시킨다.
• 종합적인 엔드 투 엔드 학습을 위해 원천 도메인의 교차 엔트로피 손실, 타겟 도메인의 엔트로피 손실, 양 도메인의 대비 손실을 동시에 최적화한다.
• 표현 학습과 분류를 분리하기 위해 새로운 헤드 모듈(MOCO)을 사용하여 선형 또는 단순 투영 헤드보다 성능을 크게 향상시켰다.

실험 결과

연구 질문

• RQ1 적대적 학습 없이도 대조 학습이 비지도 의미 분할에서 원천 도메인과 타겟 도메인 간의 클래스별 특징을 효과적으로 정렬할 수 있는가?
• RQ2 대조 학습을 통한 거친부터 세밀한 수준까지의 특징 정렬은 전역 특징 정렬이나 엔트로피 최소화만을 사용할 때보다 mIOU를 어떻게 향상시키는가?
• RQ3 메모리 백업 설계 및 업데이트 전략은 조밀한 예측 작업에 대한 대조 학습의 학습 효율성과 성능에 어떤 영향을 미치는가?
• RQ4 온도, 모멘터니, 대비 손실 가중치와 같은 하이퍼파rameter에 대한 이 방법의 민감도는 어떠한가?
• RQ5 특수 헤드 모듈을 통해 표현 학습과 분류를 분리하면 도메인 적응에서 일반화 능력이 향상되는가?

주요 결과

• 제안된 CFContra 방법은 GTA5에서 Cityscapes로의 변환 벤치마크에서 MinEnt 기준선 대비 3.5점의 mIOU 향상을 기록하여 45.8 mIOU를 달성하였다.
• 제거 분석 결과, 대비 손실과 엔트로피 최소화를 조합함으로써 교차 엔트로피 손실과 엔트로피 손실가 모두 감소하여 더 나은 특징 클러스터링과 결정 경계 분리가 이루어짐을 확인하였다.
• MOCO 기반의 대조 학습을 사용할 경우 의사 레이블 정확도가 15% 향상되어 특징 중심 할당의 향상이 입증되었다.
• 이 방법은 하이퍼파rameter 변화에 대해 강건하다: 온도(τ)와 대비 손실 가중치(λ_contra)는 강한 영향을 미치지만, 모멘터니(α)와 임계값(t)은 최소한의 영향을 미친다.
• MOCO를 헤드 모듈로 사용할 경우 가장 높은 mIOU(45.4)를 기록하여 선형 및 다른 대조 헤드보다 뛰어난 성능을 보였으며, 표현 분리의 이점이 확인되었다.
• 메모리 백업 업데이트 전략—모든 특징이 아닌 배치 단위 클래스 평균을 사용함—은 성능 유지와 함께 계산과 메모리 사용을 감소시켰다.