[논문 리뷰] Cross-Region Domain Adaptation for Class-level Alignment

Zhijie Wang, Xing Liu외 2명|arXiv (Cornell University)|2021. 09. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 4

한 줄 요약

이 논문은 정합도 맵을 사용해 타겟 이미지를 신뢰할 수 있는 영역과 신뢰할 수 없는 영역으로 분할하고, 이러한 영역 간의 특징 분포를 적대적으로 정렬함으로써 클래스 수준의 불일치를 줄이는 새로운 비지도 도메인 적응 방법인 Cross-Region Adaptation (CRA)을 제안한다. 이 방법은 기존의 어떤 CDA 방법과도 조합 가능하며, GTA5→Cityscapes, SYNTHIA→Cityscapes, Synscapes→Cityscapes 벤치마크에서 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Semantic segmentation requires a lot of training data, which necessitates costly annotation. There have been many studies on unsupervised domain adaptation (UDA) from one domain to another, e.g., from computer graphics to real images. However, there is still a gap in accuracy between UDA and supervised training on native domain data. It is arguably attributable to class-level misalignment between the source and target domain data. To cope with this, we propose a method that applies adversarial training to align two feature distributions in the target domain. It uses a self-training framework to split the image into two regions (i.e., trusted and untrusted), which form two distributions to align in the feature space. We term this approach cross-region adaptation (CRA) to distinguish from the previous methods of aligning different domain distributions, which we call cross-domain adaptation (CDA). CRA can be applied after any CDA method. Experimental results show that this always improves the accuracy of the combined CDA method, having updated the state-of-the-art.

연구 동기 및 목표

• 비지도 도메인 적응을 위한 세분화에서 소스(합성) 도메인과 타겟(실제) 도메인의 특징 분포 간의 클래스 수준 불일치 문제를 해결하기 위해.
• 클래스 수준의 도메인 시프트를 줄임으로써 기존의 교차 도메인 적응(CDA) 방법의 성능을 향상시키기 위해.
• 자기 학습을 통해 타겟 도메인 내에서 신뢰할 수 있는 영역과 신뢰할 수 없는 영역을 정의하고, 이를 특징 정렬에 활용하는 방법을 개발하기 위해.
• 기본 CDA 프레임워크를 수정하지 않고도 다양한 벤치마크에서 일관된 성능 향상을 달성하기 위해.
• 공식 Cityscapes 테스트 세트 평가를 통해 유효성 검증을 실시하여 검증 세트 누출을 방지하고 공정한 비교를 확보하기 위해.

제안 방법

• 이 방법은 교사 모델의 예측 결과로부터 신뢰도 맵을 생성하는 자기 학습 프레임워크를 사용하여, 각 픽셀을 신뢰할 수 있는(엔트로피가 낮음) 또는 신뢰할 수 없는(엔트로피가 높음) 영역으로 분류한다.
• 타겟 이미지가 두 영역으로 분할되며, 각각은 저엔트로피 영역(신뢰할 수 있는 영역)과 고엔트로피 영역(신뢰할 수 없는 영역)으로 나뉘며, 이는 특징 공간 내에서 두 개의 구분 가능한 특징 분포를 형성한다.
• 신뢰할 수 있는 영역과 신뢰할 수 없는 영역의 특징 표현 간에 적대적 학습을 적용하여 이들을 정렬함으로써, 타겟 도메인 내에서의 도메인 시프트를 최소화한다.
• 이러한 교차 영역 적응(CRA)은 기존의 CDA 방법 이후에 적용되므로, 다양한 기존 접근법과 호환되며 성능 향상을 이끈다.
• 신뢰도 맵을 사용해 적대적 정렬에 사용할 영역을 안내함으로써, 오직 고신뢰도 예측 결과만을 활용하여 모델를 개선한다.
• 프레임워크는 엔드 투 엔드로 학습되며, 학생 모델은 신뢰할 수 없는 영역의 편지 레이블을 사용하고, 신뢰할 수 있는 영역과 신뢰할 수 없는 영역의 특징 간에 적대적 손실를 적용한다.

실험 결과

연구 질문

• RQ1 타겟 도메인 내에서 적대적 정렬을 통해 교차 도메인 적응에서 성능을 저해하는 클래스 수준의 불일치를 줄일 수 있는가?
• RQ2 타겟 이미지를 신뢰할 수 있는 영역과 신뢰할 수 없는 영역으로 분할하면, 기존의 표준 교차 도메인 정렬보다 특징 분포 정렬 성능이 향상되는가?
• RQ3 CRA는 아키텍처 변경 없이 기존의 모든 CDA 방법에 일반적으로 적용 가능한가?
• RQ4 CRA는 엔트로피 최소화 및 편지 레이블 전용 학습보다 도메인 시프트를 줄이는 데 더 효과적인가?
• RQ5 공식 Cityscapes 테스트 세트에서 평가했을 때 CRA의 성능 향상이 유지되는가? 이는 검증 세트 누출을 방지하기 위함이다.

주요 결과

• GTA5→Cityscapes 벤치마크에서 평가된 모든 CDA 기반 모델에 대해 CRA가 일관되게 성능 향상을 이끌었으며, mIoU 향상 폭은 +1.0에서 +2.9까지 다양했다.
• ProDA와 결합했을 때 CRA는 GTA5→Cityscapes에서 58.6% mIoU를 달성하여 이전 SOTA인 57.5%를 초월하며 새로운 최고 성능을 기록했다.
• Synscapes→Cityscapes 벤치마크에서 ProDA+CRA는 60.2% mIoU를 기록했으며, 이는 이전 SOTA보다 0.8pp 높은 성능이었다.
• 공식 Cityscapes 테스트 세트에서 FADA+CRA는 53.8% mIoU를 기록했으며, FADA 단독 모델(52.4%)을 능가했고, 검증 세트 누출 없이도 안정적인 성능을 보였다.
• IAST+CRA는 Cityscapes 테스트 세트에서 55.6% mIoU를 기록했으며, IAST 단독 모델(54.4%)을 초월했고, 다양한 방법에 대해 일관된 성능 향상을 확인했다.
• Ablation 실험에서 CRA는 편지 레이블 전용 학습(47.5 mIoU)과 엔트로피 최소화(48.4 mIoU)보다 뛰어난 성능을 보였으며, 영역 기반 정렬의 우수성을 입증했다.