[논문 리뷰] Semantic Segmentation under Adverse Conditions: A Weather and Nighttime-aware Synthetic Data-based Approach

Abdulrahman Kerim, Felipe Chamone외 4명|arXiv (Cornell University)|2022. 10. 11.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 악천후 및 야간 조건에서의 의미 분할을 위한 합성 데이터 기반 도메인 적응 프레임워크를 제안한다. DeepLabV3+에 기상 및 시간대 감시자(감시자)를 통합함으로써, 모델은 최신 기술 수준의 성능을 달성한다—ACDC 데이터셋에서 mIoU를 14%p 향상시켜 0.49 mIoU를 달성하면서도 Cityscapes에서는 0.75 mIoU를 유지하여 표준 조건과 도전적인 조건 모두에서 뛰어난 내성성을 입증한다.

ABSTRACT

Recent semantic segmentation models perform well under standard weather conditions and sufficient illumination but struggle with adverse weather conditions and nighttime. Collecting and annotating training data under these conditions is expensive, time-consuming, error-prone, and not always practical. Usually, synthetic data is used as a feasible data source to increase the amount of training data. However, just directly using synthetic data may actually harm the model's performance under normal weather conditions while getting only small gains in adverse situations. Therefore, we present a novel architecture specifically designed for using synthetic training data for domain adaptation. We propose a simple yet powerful addition to DeepLabV3+ by using weather and time-of-the-day supervisors trained with multi-task learning, making it both weather and nighttime aware, which improves its mIoU accuracy by $14$ percentage points on the ACDC dataset while maintaining a score of $75\%$ mIoU on the Cityscapes dataset. Our code is available at https://github.com/lsmcolab/Semantic-Segmentation-under-Adverse-Conditions.

연구 동기 및 목표

• 실제 환경에서의 데이터 수집 및 레이블 부여가 비용이 많이 들고 비현실적인 악천후 및 야간 조건에서 의미 분할 모델을 훈련하는 데 도전 과제를 해결한다.
• 훈련 중에 합성 데이터와 실제 데이터를 동시에 활용하는 훈련 절차를 설계하여 합성 데이터와 실제 데이터 간의 도메인 갭을 극복한다.
• 기상 및 시간대 속성에 대한 전용 감시 헤드를 통해 네트워크가 이러한 속성에 인지하도록 하여 모델의 일반화 능력을 향상시킨다.
• 표준 조건(맑은 날, 주간) 기준 평가에서 성능이 떨어지지 않으면서도 악천후 조건에서 높은 성능을 달성한다.

제안 방법

• 기존 Silver 시뮬레이터의 수정 버전을 사용하여 생성된 새로운 합성 데이터셋 AWSS를 제안한다. 이는 비, nie, 눈, 야간 조건을 포함하며 정확한 의미 레이블이 부여되어 있다.
• 도메인 이탈을 줄이기 위해 훈련 중에 실제(Cityscapes) 및 합성(AWSS) 데이터 배치를 번갈아 사용하는 합성 데이터 인식 훈련 전략을 도입한다.
• 기상에 강건한 특징 학습을 유도하기 위해 다중 작업 학습을 통해 훈련하는 보조 헤드인 기상 인식 감시자(WAS)와 시간대 인식 감시자(TAS)를 설계한다.
• WAS와 TAS를 DeepLabV3+ 아키텍처에 통합하여 모델이 악천후 시각 조건을 명시적으로 인식하고 적응하도록 기능 추출 능력을 향상시킨다.
• 메인 분할 손실과 WAS 및 TAS의 보조 손실을 조합한 다중 작업 손실을 사용하여 엔드 투 엔드로 모델을 훈련시키며, 공동 최적화를 가능하게 한다.
• 이중 단계 훈련 프로토콜을 사용한다: 먼저 Cityscapes에서 사전 훈련(표준 조건), 그 후 AWSS에서 실시간-합성 데이터 및 보조 감시를 함께 사용하여 미세 조정한다.

실험 결과

연구 질문

• RQ1 표준 벤치마크 성능이 떨어지지 않으면서도 합성 데이터를 효과적으로 활용하여 악천후 및 야간 조건에서의 의미 분할 성능을 향상시킬 수 있는가?
• RQ2 표준 도메인 적응 또는 미세 조정과 비교해 볼 때, 기상 및 시간대에 대한 명시적 감시를 도입하면 모델의 내성성이 얼마나 향상되는가?
• RQ3 실제 이미지와 합성 이미지 간의 도메인 갭을 줄이기 위해 실제 데이터와 합성 데이터를 함께 훈련시키는 데서 얼마나 큰 효과가 있는가?
• RQ4 기상 및 야간 속성에 대한 모델 인지가, 훈련 중에 직접적으로 나타나지 않은 모든 악천후 조건에서도 성능 향상으로 이어지는가?

주요 결과

• 제안된 방법은 기준 모델 대비 ACDC 데이터셋에서 mIoU를 14%p 향상시켜 0.49 mIoU를 달성하며, 악천후 조건에서 기존 방법들을 능가한다.
• 모델은 표준 조건에서도 뛰어난 성능을 유지하여 Cityscapes에서 0.75 mIoU를 달성하였으며, 최고의 기준 모델과 유사한 성능을 보였다.
• 기상 인식 감시자(WAS)만으로도 ACDC에서 mIoU가 8%p 향상되었으며, 안개(0.55 mIoU)와 비(0.49 mIoU)에서 가장 큰 향상이 관찰되었다.
• 시간대 인식 감시자(TAS)를 추가로 도입함으로써 성능이 더욱 향상되었으며, 특히 야간 조건(0.27 mIoU)에서 두드러진 개선이 있었고, 다른 악천후 조건에서도 성능 향상이 있었다.
• 제거 실험을 통해 합성 데이터만으로 훈련할 경우 도메인 갭으로 인해 성능이 열악해지며, 감시를 통한 실시간-합성 데이터 공동 훈련이 성공에 필수적임을 확인했다.
• 보도 길 클래스는 기준 모델 대비 상대적 향상률이 82%로 가장 높았는데, 이는 모델이 습한, 눈이 오는, 비가 오는 표면를 더 잘 감지할 수 있게 되었기 때문이다.