[논문 리뷰] Uncertainty-Aware Consistency Regularization for Cross-Domain Semantic Segmentation

Qianyu Zhou, Zhengyang Feng외 5명|arXiv (Cornell University)|2020. 04. 19.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 예측 불확실성 기반 동적 가중치 할당 방식과 클래스별 편미네이션 전략을 통해 세분화된 지역 일관성을 강화함으로써 교차 도메인 세분화에 대한 불확실성 인식 일관성 정규화 방법을 제안한다. 이는 지식 전이를 향상시키며, GTA5→Cityscapes 및 SYNTHIA→Cityscapes를 포함한 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptation (UDA) aims to adapt existing models of the source domain to a new target domain with only unlabeled data. Most existing methods suffer from noticeable negative transfer resulting from either the error-prone discriminator network or the unreasonable teacher model. Besides, the local regional consistency in UDA has been largely neglected, and only extracting the global-level pattern information is not powerful enough for feature alignment due to the abuse use of contexts. To this end, we propose an uncertainty-aware consistency regularization method for cross-domain semantic segmentation. Firstly, we introduce an uncertainty-guided consistency loss with a dynamic weighting scheme by exploiting the latent uncertainty information of the target samples. As such, more meaningful and reliable knowledge from the teacher model can be transferred to the student model. We further reveal the reason why the current consistency regularization is often unstable in minimizing the domain discrepancy. Besides, we design a ClassDrop mask generation algorithm to produce strong class-wise perturbations. Guided by this mask, we propose a ClassOut strategy to realize effective regional consistency in a fine-grained manner. Experiments demonstrate that our method outperforms the state-of-the-art methods on four domain adaptation benchmarks, i.e., GTAV $ ightarrow $ Cityscapes and SYNTHIA $ ightarrow $ Cityscapes, Virtual KITTI $ ightarrow$ KITTI and Cityscapes $ ightarrow$ KITTI.

연구 동기 및 목표

• 세분화를 위한 비지도 도메 적응(UDA)에서의 불안정성과 부정적 전이 문제를 해결한다.
• 예측 불확실성 추정을 통해 신뢰할 수 없는 예측을 걸러내어 교사-학생 모델 간 지식 전이를 향상시킨다.
• 맥락적 신호에 대한 과도한 의존을 방지하고 도메인 이동에 대한 강건성을 향상시키기 위해 국소적 지역 일관성을 강화한다.
• 전역 수준의 일관성 정규화의 한계를 극복하기 위해 세분화된, 클래스별 편미네이션 전략을 도입한다.
• 목표 예측의 지식 불확실성에 기반해 일관성 손실을 동적으로 가중하는 방법을 개발한다.

제안 방법

• 목표 예측의 잠재적 지식 불확실성에 기반한 동적 가중치 할당 방식을 사용하는 불확실성 유도 일관성 손실을 도입한다.
• 학습 중 입력 이미지에 대해 강력한 클래스별 편미네이션을 생성하기 위한 ClassDrop 마스크 생성 알고리즘을 제안한다.
• ClassDrop 마스크에 따라 유도되는 편미네이션을 적용함으로써 세분화된 지역 일관성을 강화하는 ClassOut 전략을 설계한다.
• 학습 안정화와 특징 정렬 향상을 위해 지수이동평균(EMA) 교사 모델을 활용한다.
• 다양한 증강 기법(예: 색상 왜곡, 무작위 자르기, 가우시안 노이즈)을 사용한 확률적 전방향 통과를 적용하여 강건성을 향상시킨다.
• 일관성 손실의 민감도를 제어하기 위해 매개변수 α와 β를 사용해 동적 임계값을 설정한다.

실험 결과

연구 질문

• RQ1 예측 불확실성 추정은 일관성 기반 UDA에서 지식 전이의 신뢰성에 어떻게 기여하는가?
• RQ2 기본 일관성 정규화가 도메인 차이를 최소화하는 데 불안정한 이유는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ3 클래스별 편미네이션을 통해 강화된 세분화된 지역 일관성은 전역 수준의 일관성 이상으로 특징 정렬을 향상시킬 수 있는가?
• RQ4 동적 불확실성 가중치 할당과 일관성 정규화에 최적의 초모수 조합(λ₀, α, β, N)은 무엇인가?
• RQ5 다양한 데이터 증강 기법이 제안된 일관성 정규화와 상호작용하여 도메인 적응 성능을 향상시키는 방식은 어떻게 되는가?

주요 결과

• 제안된 방법은 GTA5→Cityscapes 및 SYNTHIA→Cityscapes를 포함한 네 가지 교차 도메인 세분화 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• ResNet101 백본을 사용한 SYNTHIA→Cityscapes 벤치마크에서, 평균 mIoU가 55.9%를 기록하여 이전 최고 성능 방법을 초월한다.
• 절단 실험 결과, 가우시안 노이즈, 색상 왜곡, 무작위 자르기 등의 증강 기법들이 상호 보완적이며 최적의 성능을 내기 위해 필수적임을 확인하였다.
• 최적의 초모수 설정은 λ₀ = 0.1, α = 0.725, β ≈ -4.8, 그리고 N = 8일 때 가장 높은 mIoU를 도출한다.
• 불확실성 유도 동적 가중치 할당 방식은 표준 Mean Teacher 대비 학습 안정성을 크게 향상시키고 오류 누적을 방지한다.
• ClassDrop 마스크를 활용한 ClassOut 전략은 국소적 지역 일관성을 향상시켜 맥락적 신호에 대한 과도한 의존을 감소시키고 도메인 이동에 대한 강건성을 향상시킨다.