[논문 리뷰] Rectifying Pseudo Label Learning via Uncertainty Estimation for Domain Adaptive Semantic Segmentation

Zhedong Zheng, Yi Yang|arXiv (Cornell University)|2020. 03. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 29

한 줄 요약

이 논문은 도메인 적응적 세분화에서 노이즈가 있는 가짜 라벨을 교정하기 위한 새로운 불확실성 추정 방법을 제안한다. 이중 스트림 분류기에서 유도된 분산을 예측 불확실성의 지표로 모델링하고, 이를 손실 함수에 정규화 항으로 통합함으로써 동적으로 신뢰도 임계값을 조정하고 노이즈의 영향을 줄이며, GTA5→Cityscapes, SYNTHIA→Cityscapes, Cityscapes→Oxford RobotCar 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper focuses on the unsupervised domain adaptation of transferring the knowledge from the source domain to the target domain in the context of semantic segmentation. Existing approaches usually regard the pseudo label as the ground truth to fully exploit the unlabeled target-domain data. Yet the pseudo labels of the target-domain data are usually predicted by the model trained on the source domain. Thus, the generated labels inevitably contain the incorrect prediction due to the discrepancy between the training domain and the test domain, which could be transferred to the final adapted model and largely compromises the training process. To overcome the problem, this paper proposes to explicitly estimate the prediction uncertainty during training to rectify the pseudo label learning for unsupervised semantic segmentation adaptation. Given the input image, the model outputs the semantic segmentation prediction as well as the uncertainty of the prediction. Specifically, we model the uncertainty via the prediction variance and involve the uncertainty into the optimization objective. To verify the effectiveness of the proposed method, we evaluate the proposed method on two prevalent synthetic-to-real semantic segmentation benchmarks, i.e., GTA5 -> Cityscapes and SYNTHIA -> Cityscapes, as well as one cross-city benchmark, i.e., Cityscapes -> Oxford RobotCar. We demonstrate through extensive experiments that the proposed approach (1) dynamically sets different confidence thresholds according to the prediction variance, (2) rectifies the learning from noisy pseudo labels, and (3) achieves significant improvements over the conventional pseudo label learning and yields competitive performance on all three benchmarks.

연구 동기 및 목표

• 세분화에 대한 비지도 도메인 적응에서 노이즈가 있는 가짜 라벨 문제를 해결하기 위해.
• 학습 중 예측 불확실성 추정을 통해 모델 일반화 능력을 향상시키기 위해.
• 잘못된 가짜 라벨이 모델 최적화에 악영향을 주는 것을 줄이기 위해.
• 고정 임계값을 사용하는 대신 불확실성에 기반해 신뢰도 임계값을 적응적으로 설정하는 방법을 개발하기 위해.
• 추가 파rameter 없이 도메인 적응 벤치마크에서 더 나은 성능을 달성하기 위해.

제안 방법

• 예측 분산을 불확실성의 지표로 사용하기 위해 주 및 보조 이중 스트림 분류기를 사용한다.
• 주 및 보조 분류기 출력 간의 KL 발산을 사용해 예측 분산을 계산한다.
• 불확실성은 분산 정규화 항으로 최적화 목표에 통합된다.
• 예측 분산에 기반해 동적 신뢰도 임계값이 적용되어 저신뢰도, 고불확실성 예측이 필터링된다.
• 단일 추론 단계에서의 분산을 활용해 다중 순환 추론을 피하기도 한다.
• 학습된 가중치를 사용해 두 분류기의 예측을 결합하여 최종 출력을 향상시킨다.

실험 결과

연구 질문

• RQ1 높은 신뢰도 점수에서도 예측 분산이 올바른 가짜 라벨와 잘못된 가짜 라벨를 효과적으로 구분할 수 있는가?
• RQ2 고정 임계값 대비 불확실성 기반 임계값 설정이 노이즈가 있는 가짜 라벨를 처리하는 데 어떻게 더 우수한가?
• RQ3 불확실성 추정이 다양한 도메인 이동 시나리오에서 도메인 적응 성능을 향상시킬 수 있는가?
• RQ4 예측 불확실성을 캡처하는 데 있어 제안된 불확실성 추정 방식이 Monte Carlo Dropout과 비교해 어떻게 다른가?
• RQ5 불확실성 정규화가 추가 파rameter 없이 모델의 강건성을 향상시키는 데 기여하는가?

주요 결과

• 제안된 방법은 올바른 고신뢰도 예측과 잘못된 고신뢰도 예측 사이에 0.1357의 불확실성 갭을 달성하여, 0.9 드롭아웃 비율에서 MC-Dropout를 능가한다.
• 올바르게 할당된 고신뢰도 라벨의 평균 분산(0.9901)은 잘못할당된 라벨의 평균 분산(0.9332)보다 유의미하게 높다. 이는 분산이 신뢰할 수 있는 불확실성 지표임을 확인한다.
• 주 및 보조 분류기의 예측을 조합했을 때 mIoU가 약 1.0% 향상되며, 주 분류기만 사용할 경우(49.3% mIoU)에 비해 성능 향상이 뚜렷하다.
• 모델은 다양한 거리 함수에 대해 강건하며, KL 발산이 MSE 또는 교환 예측보다 略적으로 더 좋은 성능을 낸다.
• 불확실성 맵은 모호한 영역(예: 물체 경계)을 명확히 드러내며, 잘못된 예측이 집중되어 있음을 확인하여, 이 방법이 불확실성을 효과적으로 탐지할 수 있음을 입증한다.
• 추가 파arameter 없이도 모든 세 가지 벤치마크(GTA5→Cityscapes, SYNTHIA→Cityscapes, Cityscapes→Oxford RobotCar)에서 경쟁 가능한 성능을 달성한다.