[논문 리뷰] In Rain or Shine: Understanding and Overcoming Dataset Bias for Improving Robustness Against Weather Corruptions for Autonomous Vehicles

Aboli Marathe, Rahee Walambe외 1명|arXiv (Cornell University)|2022. 04. 03.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 COCO 및 VOC와 같은 표준 데이터셋으로 훈련된 객체 검출(OD) 모델에서 발생하는 '좋은 날씨 편향'을 식별하고 이를 완화한다. 이는 악천후 데이터에서 성능이 떨어지는 문제를 해결하기 위한 것으로, 실제 DAWN 데이터셋 이미지를 활용한 지식 전이와 훈련 이미지에 대한 합성 이중 가우시안 블러링을 제안하여 DAWN에서 mAP 26.25를 달성했으며, 기준 모델 대비 7배 향상되어 실제 악천후 오염 조건에서의 강건성을 크게 향상시켰다.

ABSTRACT

Several popular computer vision (CV) datasets, specifically employed for Object Detection (OD) in autonomous driving tasks exhibit biases due to a range of factors including weather and lighting conditions. These biases may impair a model's generalizability, rendering it ineffective for OD in novel and unseen datasets. Especially, in autonomous driving, it may prove extremely high risk and unsafe for the vehicle and its surroundings. This work focuses on understanding these datasets better by identifying such "good-weather" bias. Methods to mitigate such bias which allows the OD models to perform better and improve the robustness are also demonstrated. A simple yet effective OD framework for studying bias mitigation is proposed. Using this framework, the performance on popular datasets is analyzed and a significant difference in model performance is observed. Additionally, a knowledge transfer technique and a synthetic image corruption technique are proposed to mitigate the identified bias. Finally, using the DAWN dataset, the findings are validated on the OD task, demonstrating the effectiveness of our techniques in mitigating real-world "good-weather" bias. The experiments show that the proposed techniques outperform baseline methods by averaged fourfold improvement.

연구 동기 및 목표

• 자율주행 차량에 사용되는 인기 있는 객체 검출 데이터셋에서 '좋은 날씨 편향'을 식별하고 정량화하는 것.
• DAWN 데이터셋에서 표준 평가 지표를 사용하여 이 편향의 정도를 측정하는 것.
• 이 편향을 완화하기 위한 효과적인 기법을 개발하고 검증하여 악천후 조건에서의 모델 강건성을 향상시키는 것.

제안 방법

• 편향을 식별하기 위한 삼단계 프레임워크 제안: 표준 데이터셋으로 훈련, 좋은 날씨 데이터로 테스트, DAWN의 악천후 데이터로 성능 평가.
• VOC 2017에서 미리 훈련된 모델을 DAWN 데이터셋의 실제 이미지를 사용하여 프리티닝하여 지식 전이를 수행.
• 이중 가우시안 블러링을 통해 합성 이미지 오염을 적용하여 VOC 2017 훈련 세트를 증강, 악천후 효과를 시뮬레이션.
• 오염된 VOC 2017 데이터로 객체 검출 모델을 훈련하고 DAWN 테스트 세트에서 성능을 평가.
• 표준 객체 검출 지표(mAP, 클래스별 AP)를 사용하여 기준 모델과 완화 기법의 성능을 비교.
• 실제 악천후 자율주행 이미지 기준 벤치마크인 DAWN 데이터셋에서 결과를 검증.

실험 결과

연구 질문

• RQ1 표준 객체 검출 모델이 DAWN 데이터셋의 날씨 오염된 이미지에서 얼마나 성능 저하를 보이는가?
• RQ2 표준 평가 지표를 사용하여 '좋은 날씨 편향'을 정량적으로 측정할 수 있는가?
• RQ3 목표 악천후 데이터셋의 실제 이미지를 사용한 지식 전이가 모델 강건성을 향상시킬 수 있는가?
• RQ4 합성 이미지 오염 기법이 실제 악천후 오염을 효과적으로 시뮬레이션하여 일반화 성능을 향상시킬 수 있는가?
• RQ5 지식 전이와 합성 오염 중 어느 기법이 분포 외의 날씨 조건에서 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• COCO 및 VOC 2017와 같은 표준 데이터셋으로 훈련된 모델은 DAWN 데이터셋에서 심한 성능 저하를 보이며, VOC에서 mAP가 74.95에서 7.00으로, COCO에서 28.37에서 9.50으로 감소한다.
• 지식 전이 방법은 DAWN에서 mAP를 7.00에서 5.50으로 향상시켰고, 버스 클래스에서 7 AP 향상으로 미미하지만 측정 가능한 개선을 보였다.
• 합성 이중 가우시안 블러링 방법은 mAP를 22.5 향상시켜 DAWN에서 mAP를 7.00에서 26.25로 상승시켰고, 자전거 검출 AP는 92로 상승시켰다.
• 이중 가우시안 블러링 기법은 지식 전이 대비 mAP 향상에서 7배 우수한 성능을 보이며, 날씨 오염에 대한 강건성을 뛰어나게 해주었다.
• 자전거 클래스는 악천후 조건에서 특히 검출이 어려운 편이었지만, 합성 오염 기법이 이 어려운 클래스의 검출 성능을 크게 향상시켰다.
• 본 연구는 '좋은 날씨 편향'이 자율주행 차량 인식에서 심각한 문제이며, 합성 데이터 증강 기법이 매우 효과적인 완화 전략임을 확인했다.