[논문 리뷰] Map-Guided Curriculum Domain Adaptation and Uncertainty-Aware Evaluation for Semantic Nighttime Image Segmentation

Christos Sakaridis, Dengxin Dai외 1명|arXiv (Cornell University)|2020. 05. 28.

Advanced Image and Video Retrieval Techniques인용 수 9

한 줄 요약

이 논문은 지도 기반 커리큘럼 도메인 적응(MGCDA)을 제안하여, 시간대 간 대응 관계와 지리적 참조 지도를 활용해 일일 모델을 점진적으로 어두운 조건으로 적응시킴으로써 야간 영상의 의미적 분할 성능을 햖थ다. 이는 빈도가 높은 불확실성 인식 평가 프레임워크를 도입하여 벤치마크에서 유효하지 않은 영역을 포함함으로써, 새로운 Dark Zurich 데이터셋에서 최신 기술 수준의 성능을 달성하며 안전이 중요한 응용 분야에서의 강건성도 향상시킨다.

ABSTRACT

We address the problem of semantic nighttime image segmentation and improve the state-of-the-art, by adapting daytime models to nighttime without using nighttime annotations. Moreover, we design a new evaluation framework to address the substantial uncertainty of semantics in nighttime images. Our central contributions are: 1) a curriculum framework to gradually adapt semantic segmentation models from day to night through progressively darker times of day, exploiting cross-time-of-day correspondences between daytime images from a reference map and dark images to guide the label inference in the dark domains; 2) a novel uncertainty-aware annotation and evaluation framework and metric for semantic segmentation, including image regions beyond human recognition capability in the evaluation in a principled fashion; 3) the Dark Zurich dataset, comprising 2416 unlabeled nighttime and 2920 unlabeled twilight images with correspondences to their daytime counterparts plus a set of 201 nighttime images with fine pixel-level annotations created with our protocol, which serves as a first benchmark for our novel evaluation. Experiments show that our map-guided curriculum adaptation significantly outperforms state-of-the-art methods on nighttime sets both for standard metrics and our uncertainty-aware metric. Furthermore, our uncertainty-aware evaluation reveals that selective invalidation of predictions can improve results on data with ambiguous content such as our benchmark and profit safety-oriented applications involving invalid inputs.

연구 동기 및 목표

• 야간 레이블에 의존하지 않고 저조도 야간 조건에서의 의미적 분할 성능을 향상시키기 위해.
• 특징가 흐려지고 인식이 어려워지는 야간 영상에서의 의미 모호성과 시각적 열화 문제를 해결하기 위해.
• 유효하지 않은(인식이 어려운) 영역을 성능 평가에 포함하는 체계적인 평가 프레임워크를 개발하기 위해.
• 야간 및 황혼 영상에 대해 정밀한 레이블링이 이루어진 새로운 벤치마크 데이터셋인 Dark Zurich를 구축하기 위해.
• 불확실성이 높을 경우 '유효하지 않음'으로 예측할 수 있도록 해, 자율주행 시스템의 더 안전한 인식을 가능하게 하기 위해.

제안 방법

• 시간의 연속성을 활용해 일광에서 야간으로 점진적으로 모델을 적응시키는 커리큘럼 학습 전략을 제안하며, 중간 어두운 도메인을 거쳐야 한다.
• 지리적 참조를 가진 디지털 지도를 활용해 일광 영상와 정제된 의미 지식을 저장함으로써, 야간 예측과 공간적으로 적응적인 융합을 가능하게 한다.
• 이미지 번역을 활용해 일광 데이터셋을 어두운 도메인으로 스타일링하여 지도 학습 전처리를 수행함으로써 도메인 일반화 능력을 향상시킨다.
• 신뢰도 기반 가중치를 사용해 어두운 영상 예측과 왜곡된 일광 예측을 결합하는 신뢰도 적응형 예측 융합 모듈을 설계한다.
• 기존 IoU를 일반화한 새로운 불확실성 인식 지표인 UIoU를 도입하며, '유효하지 않음' 레이블을 허용하고 진짜로 모호한 영역에서 이 레이블을 올바르게 예측한 경우에 이를 정확한 것으로 간주한다.
• 일광 영상의 대응 영역을 활용한 유효하지 않은 영역 레이블링 프로토콜을 개발하여 인간 레이블링이 어려운 영역도 신뢰성 있게 레이블링할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 일 → 야간으로 점진적으로 진행되는 커리큘럼 도메인 적응 전략이 저조도 조건에서 의미적 분할 성능 향상에 기여하는가?
• RQ2 어떤 야간 레이블도 없이 의미적 분할 모델을 효과적으로 야간 환경에 적응시킬 수 있는가?
• RQ3 지리적 참조를 가진 일광 지도가 야간 분할 정확도와 강건성에 얼마나 기여하는가?
• RQ4 야간 영상에서 의미적 불확실성과 인식이 어려운 영역을 고려해 평가 지표를 어떻게 재정의할 수 있는가?
• RQ5 평가에 유효하지 않은 영역을 포함시키면 자율주행 응용 분야에서 더 강건하고 안전한 예측이 가능해지는가?

주요 결과

• MGCDA는 Dark Zurich 야간 벤치마크에서 최신 기술 수준의 방법들을 압도적으로 앞서며, 표준 지표와 불확실성 인식 지표 양쪽 모두에서 높은 성능을 기록한다.
• 불확실성 인식 평가 프레임워크는 예측을 선택적으로 무효화함으로써 모호한 입력에서의 강건성을 향상시키며, 안전이 중요한 상황에서의 오진 예측을 줄인다.
• 201장의 완전히 레이블링된 야간 영상과 2416장의 레이블이 없는 야간 영상로 구성된 Dark Zurich 데이터셋은 야간 의미적 분할 분야의 새로운 기준이 되었다.
• 제안된 UIoU 지표는 표준 IoU를 일반화하며, 인간조차도 인식이 어려운 영역을 고려함으로써 공정한 평가를 가능하게 한다.
• 실험 결과, 일광 예측에 대한 신뢰도 가중치를 높일수록 성능 향상이 이루어지지만, 과도하게 사용할 경우 정렬 오류가 발생해 성능이 떨어지는 것을 확인했다.
• 레이블링 프로토콜은 이전에 제외되었던 유효하지 않은 영역을 성공적으로 레이블링하여 평가에 포함시켰으며, 이는 모델의 신뢰성 향상에 기여했다.