[논문 리뷰] Bi-Mix: Bidirectional Mixing for Domain Adaptive Nighttime Semantic Segmentation

Guanglei Yang, Zhun Zhong외 4명|arXiv (Cornell University)|2021. 11. 19.

Advanced Neural Network Applications참고 문헌 27인용 수 7

한 줄 요약

이 논문은 도메인 적응 야간 세분화를 위한 일단계 양방향 혼합 프레임워크인 Bi-Mix를 제안한다. 이는 근사적으로 정렬된 일일-야간 쌍을 공동으로 활용하여 이미지 재조명과 세분화 적응을 향상시킨다. 클래스 균형 잡힌 혼합 샘플링과 함께 번갈아가며 번역에서 세분화로, 그리고 세분화에서 번역으로의 학습을 통해 Bi-Mix는 Dark Zurich 및 Nighttime Driving 데이터셋에서 최신 기술 성능을 달성하며, mIoU 점수는 각각 47.3%와 51.6%를 기록한다.

ABSTRACT

In autonomous driving, learning a segmentation model that can adapt to various environmental conditions is crucial. In particular, copying with severe illumination changes is an impelling need, as models trained on daylight data will perform poorly at nighttime. In this paper, we study the problem of Domain Adaptive Nighttime Semantic Segmentation (DANSS), which aims to learn a discriminative nighttime model with a labeled daytime dataset and an unlabeled dataset, including coarsely aligned day-night image pairs. To this end, we propose a novel Bidirectional Mixing (Bi-Mix) framework for DANSS, which can contribute to both image translation and segmentation adaptation processes. Specifically, in the image translation stage, Bi-Mix leverages the knowledge of day-night image pairs to improve the quality of nighttime image relighting. On the other hand, in the segmentation adaptation stage, Bi-Mix effectively bridges the distribution gap between day and night domains for adapting the model to the night domain. In both processes, Bi-Mix simply operates by mixing two samples without extra hyper-parameters, thus it is easy to implement. Extensive experiments on Dark Zurich and Nighttime Driving datasets demonstrate the advantage of the proposed Bi-Mix and show that our approach obtains state-of-the-art performance in DANSS. Our code is available at https://github.com/ygjwd12345/BiMix.

연구 동기 및 목표

• 자율주행에서 도메인 이동 문제를 해결하기 위해, 특히 일일 기반으로 학습된 모델이 야간 조건으로 일반화하는 데 어려움을 겪는 문제를 해결한다.
• 중간의 황혼 도메인에 의존하지 않고, 근사적으로 정렬된 일일-야간 이미지 쌍을 사용하여 이미지 재조명 품질을 향상시킨다.
• 적응 과정 중에 클래스 균형 잡힌 혼합 샘플링을 도입하여 야간 세분화의 클래스 불균형 문제를 완화한다.
• 이중 단계 학습에서 발생하는 오류 누적 문제를 방지하기 위해 이미지 번역과 세분화 적응을 하나의 효율적인 일단계 프레임워크로 통합한다.
• 양방향 학습을 통해 번역 모델과 세분화 모델 간의 상호 감독을 강화한다.

제안 방법

• Bi-Mix는 두 방향으로 구성된 양방향 학습 프레임워크를 사용한다: '번역에서 세분화'(Trans2Seg) 및 '세분화에서 번역'(Seg2Trans).
• Trans2Seg에서는 이미지 번역 모델이 야간 이미지를 재조명하고, 그 결과로 생성된 이미지에 대해 세분화 헤드를 적용하여 세분화 손실과 적대적 손실을 적용한다.
• Trans2Seg에서는 일일 이미지의 무작위 선택된 클래스에서 유래한 픽셀과 야간 이미지를 혼합하여 클래스 분포를 균형 잡는 혼합 샘플링을 적용한다.
• Seg2Trans에서는 예측된 세분화 마스크를 사용하여 혼합 샘플을 생성함으로써 번역 모델을 안내하여 일일 및 야간 이미지 간의 콘텐츠 일致성을 확보한다.
• Seg2Trans에서는 번역된 이미지가 원본 일일 이미지와 일치하도록 일致성 손실을 적용하여 번역 품질을 향상시킨다.
• 프레임워크는 혼합 샘플링, 재조명, 자기지도 학습을 균형 잡기 위해 세 개의 하이퍼파rameter(μ₁, μ₂, μ₃)를 사용하며, 최적 값은 각각 0.001, 0.001, 1로 확인되었다.

실험 결과

연구 질문

• RQ1 중간 도메인을 요구하지 않고 이미지 번역과 세분화 적응의 공동 학습이 야간 세분화 성능 향상에 기여할 수 있는가?
• RQ2 근사적으로 정렬된 일일-야간 이미지 쌍을 효과적으로 활용하여 재조명 및 세분화 품질을 향상시킬 수 있는가?
• RQ3 혼합 샘플링 전략이 세분화의 의미 일致성을 유지하면서도 야간 세분화의 클래스 불균형 문제를 완화할 수 있는가?
• RQ4 번역 모델과 세분화 모델 간의 양방향 학습이 상호 보완적 성능 향상과 더 나은 도메인 적응을 이끌 수 있는가?
• RQ5 혼합 샘플링과 자기지도 학습을 제어하는 하이퍼파rameter에 대해 제안된 방법이 얼마나 민감한가?

주요 결과

• Bi-Mix는 Nighttime Driving 테스트 세트에서 최신 기술 성능인 47.3%의 mIoU를 달성하여 이전 방법들을 초월한다.
• Dark Zurich 테스트 세트에서는 51.6%의 mIoU를 기록하여, 예상치 못한 야간 환경으로의 일반화 능력이 뛰어나다는 것을 입증한다.
• 절단 분석 결과, Trans2Seg 및 Seg2Trans 양 방향에서 단방향 혼합 샘플링 전략이 기준 모델인 DANNet보다 성능 향상을 이룬다.
• 재조명 네트워크가 성능 향상에 크게 기여하며, 제거 시 mIoU가 뚜렷하게 감소함으로써 이미지 품질 향상의 중요성을 입증한다.
• 파rameter 분석 결과 최적 성능은 μ₁ = 0.001, μ₂ = 0.001, μ₃ = 1에서 달성되며, 이 값들을 초과할 경우 성능 저하가 발생한다.
• 정성적 결과에서는 Bi-Mix가 기준 방법 대비 더 현실적이고 의미적으로 일관된 재조명 이미지를 생성하는 것으로 나타났다.