[논문 리뷰] Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

Haoran Wang, Tong Shen외 3명|arXiv (Cornell University)|2020. 07. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 6

한 줄 요약

이 논문은 클래스 인식 디스crimin레이터와 도메인 인코딩을 사용하여 클래스 수준의 특징 정렬을 향상시키는 세분화된 적대적 학습 프레임워크인 FADA를 제안한다. 이는 이진 도메인 레이블을 다중 클래스 지도로 일반화함으로써, GTA5→Cityscapes, SYNTHIA→Cityscapes, 그리고 Cityscapes→Cross-City에서 최신 기준 성능을 달성한다. ResNet-101과 DeeperLabV2를 사용할 때 GTA5→Cityscapes에서 50.1%의 mIoU를 기록한다.

ABSTRACT

Despite great progress in supervised semantic segmentation,a large performance drop is usually observed when deploying the model in the wild. Domain adaptation methods tackle the issue by aligning the source domain and the target domain. However, most existing methods attempt to perform the alignment from a holistic view, ignoring the underlying class-level data structure in the target domain. To fully exploit the supervision in the source domain, we propose a fine-grained adversarial learning strategy for class-level feature alignment while preserving the internal structure of semantics across domains. We adopt a fine-grained domain discriminator that not only plays as a domain distinguisher, but also differentiates domains at class level. The traditional binary domain labels are also generalized to domain encodings as the supervision signal to guide the fine-grained feature alignment. An analysis with Class Center Distance (CCD) validates that our fine-grained adversarial strategy achieves better class-level alignment compared to other state-of-the-art methods. Our method is easy to implement and its effectiveness is evaluated on three classical domain adaptation tasks, i.e., GTA5 to Cityscapes, SYNTHIA to Cityscapes and Cityscapes to Cross-City. Large performance gains show that our method outperforms other global feature alignment based and class-wise alignment based counterparts. The code is publicly available at https://github.com/JDAI-CV/FADA.

연구 동기 및 목표

• 원천 도메인과 타겟 도메인 간의 특징 정렬을 향상시켜 의미 분할의 도메인 이동 문제를 해결한다.
• 타겟 도메인의 클래스 수준 의미 구조를 忽略하는 전역 특징 정렬 방법의 한계를 극복한다.
• 적대적 학습 과정에 클래스 수준 정보를 통합하여 보다 정밀한 정렬을 가능하게 한다.
• 이중 도메인 레이블을 다중 클래스 정보를 포함하는 '도메인 인코딩'으로 일반화하는 새로운 지도 신호를 개발한다.
• 클래스 간 분리성을 유지하면서 도메인 간 내부 클래스 특징을 정렬하여 클래스 불일치 오차를 줄인다.

제안 방법

• 도메인 $d$, 클래스 $c$, 특징 $f$에 대해 $P(d,c|f)$를 모델링하는 세분화된 도메인 디스crimin레이터를 설계하여 클래스 수준의 차별화를 가능하게 한다.
• 원천 및 타겟 도메인의 모델 예측에서 유도된 도메인 인코딩을 통해 이진 도메인 레이블을 다중 클래스 지도로 일반화한다.
• 노이즈가 있는 예측에 과적합을 방지하기 위해 소프트 레이블을 정규화하기 위해 임계값 0.9로 신뢰도 클리핑을 수행한다.
• 성능 향상을 위해 자가 정규화 및 다중 해상도 테스트를 보조 구성 요소로 통합한다.
• 특징의 도메인 불변성을 장려하면서도 클래스 특화된 구조를 유지하는 적대적 손실를 제안한다.
• 내부 클래스의 응집도와 클래스 간 분리도를 정량적으로 측정하기 위해 새로운 평가 지표인 클래스 중심 거리(CCD)를 정의한다.

실험 결과

연구 질문

• RQ1 전역 분포 정렬을 넘어서 클래스 인식 적대적 학습이 도메인 간 의미 분할 성능을 향상시킬 수 있는가?
• RQ2 디스crimin레이터에 클래스 수준 정보를 통합할 경우 특징 정렬 품질과 분할 정확도에 어떤 영향을 미치는가?
• RQ3 타겟 레이블이 없는 상황에서 도메인 인코딩을 구성할 때 소프트 레이블과 하드 레이블 중 어떤 것이 더 우수한가?
• RQ4 노이즈가 있는 소프트 레이블을 지도로 사용할 때 신뢰도 클리핑이 얼마나 강건성을 향상시키는가?
• RQ5 제안된 방법은 도메인 간 내부 클래스 특징을 정렬하면서도 클래스 간 분리성을 어떻게 유지하는가?

주요 결과

• DeeplabV2와 ResNet-101를 사용할 때 FADA는 GTA5→Cityscapes 벤치마크에서 50.1%의 mIoU를 기록하여 이전 최신 기준 방법들을 초월한다.
• 메트릭인 평균 클래스 중심 거리(CCD)를 1.1로 낮춰 AdaptSegNet과 CLAN에 비해 뛰어난 내부 클래스 응집도와 클래스 간 분리도를 확보한다.
• 세분화된 적대적 학습만으로도 전역 정렬 기반 모델 대비 GTA5→Cityscapes에서 mIoU가 10.1% 향상된다.
• 신뢰도 클리핑(임계값 0.9)을 적용한 소프트 레이블은 하드 레이블보다 성능이 뛰어나며, GTA5→Cityscapes에서 46.9%의 mIoU를 기록한 반면 하드 레이블은 45.7%였다.
• 제거 분석 결과, 자가 정규화와 다중 해상도 테스트는 각각 성능을 2.3%와 0.7% 향상시키는 것으로 확인되었다.
• 정성적 결과는 FADA가 분할 예측에서 잘못 분류 및 도메인 특화 아티팩트를 크게 감소시킨다는 것을 보여준다.