[논문 리뷰] Contextual-Relation Consistent Domain Adaptation for Semantic Segmentation

Jiaxing Huang, Shijian Lu외 2명|arXiv (Cornell University)|2020. 07. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 11

한 줄 요약

이 논문은 의미 분할을 위한 새로운 비지도 도메인 적응 방법인 Contextual-Relation Consistent Domain Adaptation (CrCDA)를 제안한다. CrCDA는 원본 도메인과 타겟 도메인 간 국소적 문맥 관계 일관성을 학습하고 전이하여 지역별 특징 관계를 원형적으로 모델링한다. 추가 계산 없이도 수백 개의 국소적 문맥 관계를 적응형 엔트로피 최대-최소 적대학습으로 정렬함으로써, GTA5→Cityscapes 및 SYNTHIA→Cityscapes 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법보다 최대 7.2% mIoU 향상된다.

ABSTRACT

Recent advances in unsupervised domain adaptation for semantic segmentation have shown great potentials to relieve the demand of expensive per-pixel annotations. However, most existing works address the domain discrepancy by aligning the data distributions of two domains at a global image level whereas the local consistencies are largely neglected. This paper presents an innovative local contextual-relation consistent domain adaptation (CrCDA) technique that aims to achieve local-level consistencies during the global-level alignment. The idea is to take a closer look at region-wise feature representations and align them for local-level consistencies. Specifically, CrCDA learns and enforces the prototypical local contextual-relations explicitly in the feature space of a labelled source domain while transferring them to an unlabelled target domain via backpropagation-based adversarial learning. An adaptive entropy max-min adversarial learning scheme is designed to optimally align these hundreds of local contextual-relations across domain without requiring discriminator or extra computation overhead. The proposed CrCDA has been evaluated extensively over two challenging domain adaptive segmentation tasks (e.g., GTA5 to Cityscapes and SYNTHIA to Cityscapes), and experiments demonstrate its superior segmentation performance as compared with state-of-the-art methods.

연구 동기 및 목표

• 기존 비지도 도메인 적응 방법이 전역 분포 정렬에만 집중하여 국소적 문맥 일관성을 간과하는 한계를 해결한다.
• 라벨이 부여된 원본 도메인에서 국소 영역 기반 의미 관계를 모델링하고 전이하여 실제 타겟 도메인의 분할 정확도를 향상시킨다.
• 국소 관계 정렬을 위해 다수의 판별기 또는 단일 전역 판별기를 사용할 경우 발생하는 비효율성과 편향 문제를 해결한다.
• 동시 발생하는 시각적 패턴 간의 호환성 및 이질성 관계를 명시적으로 강제함으로써 도메인 간 일관된 특징 학습을 가능하게 한다.
• 국소적 문맥 관계 정렬이 기존의 전역 척도 정렬 기법과 상호 보완적임을 입증한다.

제안 방법

• DBSCAN을 사용해 픽셀 수준의 진짜 지도에서 영역을 군집화하여 원본 도메인에서 국소적 문맥 관계 가짜 애너테이션을 구축한다.
• 원본 도메인의 특징 공간에서 원형적인 국소적 문맥 관계를 명시적으로 학습하고 모델링하기 위해 분류기 C를 훈련한다.
• 백프로파게이션 기반의 적대학습을 통해 학습된 이러한 국소 관계를 레이블이 없는 타겟 도메인으로 전이한다.
• 추가적인 판별기나 계산 부담 없이도 도메인 간 수백 개의 국소적 문맥 관계를 최적으로 정렬하는 적응형 엔트로피 최대-최소(AEMM) 적대학습 기법을 설계한다.
• 표준 분할 및 적대학습 손실과 AEMM 손실을 통합하여 특징 표현, 국소 일관성, 전역 정렬을 동시에 최적화한다.
• 다중 척도 적대학습을 통해 픽셀 수준과 국소 영역 수준의 특징을 정렬함으로써 강건성과 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 국소적 문맥 관계의 명시적 모델링이 의미 분할의 도메인 적응 성능을 향상시킬 수 있는가?
• RQ2 국소적 의미 호환성 및 이질성 관계를 강제로 적용하면 전역 분포 정렬에 비해 더 나은 특징 정렬을 이끌 수 있는가?
• RQ3 추가적인 판별기나 계산 비용 없이도 단일 적응형 엔트로피 최대-최소 적대학습 메커니즘이 다수의 국소적 문맥 관계를 효과적으로 정렬할 수 있는가?
• RQ4 국소적 문맥 관계 일관성은 기존의 전역 척도 정렬 기법과 어떻게 상호 보완적인가?
• RQ5 CrCDA는 GTA5→Cityscapes 및 SYNTHIA→Cityscapes와 같은 도전적인 벤치마크에서 분할 정확도를 어느 정도 향상시키는가?

주요 결과

• ResNet-101을 사용하여 GTA5→Cityscapes 벤치마크에서 CrCDA는 평균 교차율(mIoU) 48.6%를 달성하며, 이는 이전 최신 기술 수준 방법(AdvEnt)보다 7.2% 높은 성능이다.
• 절단 분석 결과, 픽셀 수준, 국소 척도, 전역 척도의 적응을 조합할 경우 최고의 성능가능성을 입증하였으며, CrCDA + 전역 정렬 조합 시 mIoU 46.1%를 기록하였다.
• 정성적 결과에서는 CrCDA가 저수준 특징(예: 객체 윤곽)과 고수준 특징을 효과적으로 정렬하는 반면, AdvEnt는 저수준 세부 정보를 유지하지 못함을 확인하였다.
• t-SNE 시각화 결과 CrCDA는 더 구분력 있고 원본에 유사한 타겟 도메인 특징 분포를 생성함을 확인하였으며, 이는 국소 및 전역 일관성 향상을 시사한다.
• 보완 연구 결과, CrCDA는 기존의 전역 정렬 기법을 향상시키며, CrCDA ∗ + GlobalAlign 조합 시 46.1% mIoU를 기록하여 전역 정렬 기법만 사용할 경우보다 4.8% 향상되었다.
• 다양한 네트워크 아키텍처와 설정에서 일관된 향상이 관찰되어, 본 방법의 강건성과 일반화 능력을 확인하였다.