[논문 리뷰] MUAD: Multiple Uncertainties for Autonomous Driving

Gianni Franchi, Xuanlong Yu외 6명|arXiv (Cornell University)|2022. 03. 02.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

MUAD는 자율주행에서 다중 불확실성 유형을 연구하기 위해 다양한 악천후 조건(야간, dense 안개, 비, 눈), 분포 외 객체, 그리고 세분화, 깊이 추정, 객체 검출을 위한 애너테이션을 포함한 고해상도 합성 데이터셋 10,413장을 제공한다. 이 벤치마크는 통제된 현실적인 교란 조건 하에서 딥 네트워크의 체계적 평가를 가능하게 하며, 복합적인 불확실성 원인에 의해 모델 성능이 크게 떨어지는 것을 확인하여 안전 중심 시스템에서의 불확실성 인식 설계의 필요성을 강조한다.

ABSTRACT

Predictive uncertainty estimation is essential for safe deployment of Deep Neural Networks in real-world autonomous systems. However, disentangling the different types and sources of uncertainty is non trivial for most datasets, especially since there is no ground truth for uncertainty. In addition, while adverse weather conditions of varying intensities can disrupt neural network predictions, they are usually under-represented in both training and test sets in public datasets.We attempt to mitigate these setbacks and introduce the MUAD dataset (Multiple Uncertainties for Autonomous Driving), consisting of 10,413 realistic synthetic images with diverse adverse weather conditions (night, fog, rain, snow), out-of-distribution objects, and annotations for semantic segmentation, depth estimation, object, and instance detection. MUAD allows to better assess the impact of different sources of uncertainty on model performance. We conduct a thorough experimental study of this impact on several baseline Deep Neural Networks across multiple tasks, and release our dataset to allow researchers to benchmark their algorithm methodically in adverse conditions. More visualizations and the download link for MUAD are available at https://muad-dataset.github.io/.

연구 동기 및 목표

• 자율주행 인식에서 다중 불확실성 원인(알레아토릭, 엡스테믹, 분포 이탈)을 분리하지 못한 데이터셋의 부족을 해결하기 위해.
• 통제된 교란 조건(기상, OOD 객체)을 가진 현실적인 합성 데이터셋을 제공하여 DNN의 불확실성 정량화 평가를 가능하게 하기 위해.
• 다양한 불확실성 조건 하에서 여러 인식 작업 전반에 걸쳐 딥 러닝 모델의 체계적 벤치마킹을 가능하게 하기 위해.
• 기초 모델과 종합적인 평가 프로토콜을 제공하여 불확실성 인식 인식 연구를 지원하기 위해.
• 실제 세계 데이터로의 비지도 도메인 적응을 가능하게 하기 위해 현실적이고 다양한 데이터 분포를 가진 합성 데이터를 제공하기 위해.

제안 방법

• MUAD 데이터셋은 야간, 안개, 비, 눈 조건과 다양한 분포 외(OOD) 객체를 포함한 고해상도 시뮬레이션을 통해 생성된 10,413장의 합성 이미지로 구성되어 있다.
• 세 가지 핵심 작업을 위한 애너테이션이 제공된다: 세분화, 단안 깊이 추정, 바운딩 박스를 사용한 인스턴스/객체 검출.
• 데이터셋은 훈련(3,420장), 검증(492장), 테스트(6,501장)로 나뉘며, 교란 수준이 점차 증가한다(예: 저강도 및 고강도 기상 조건, OOD 존재 여부).
• 기초 모델로는 ResNet-50 및 ResNet-101 백본을 사용한 Faster R-CNN과 가우시안 YOLOv3가 모든 교란 수준에서 훈련 및 평가되었다.
• 성능 평가에는 표준 지표(mAP, AP50)와 불확실성 인식 로컬라이제이션 평가를 위한 확률적 검출 품질(PDQ) 지표가 사용되었다.
• MUAD에서 KITTI로의 도메인 적응 실험을 통해 불확실성 인식 모델이 실제 세계 데이터로의 이식 가능성에 대한 결과를 도출하였다.

실험 결과

연구 질문

• RQ1 악천후, OOD 객체, 분포 이탈 등의 다양한 유형의 불확실성이 여러 인식 작업 전반에 걸쳐 DNN 성능에 어떤 영향을 미치는가?
• RQ2 불확실성 인식 모델이 합성이지만 현실적인 환경에서 점차 증가하는 교란 수준에 대해 얼마나 강건성을 유지하는가?
• RQ3 MUAD와 같은 합성 데이터셋이 실세계 배포 이전에 불확실성 정량화 방법의 개발 및 평가에 효과적으로 기여할 수 있는가?
• RQ4 다양한 백본 아키텍처(예: ResNet-50 대비 ResNet-101)와 검출 헤드(Faster R-CNN 대비 YOLOv3)는 악조건 하에서 불확실성 일반화 성능에서 어떻게 비교되는가?
• RQ5 MUAD에서 훈련된 모델이 도메인 적응을 통해 KITTI와 같은 실세계 벤치마크로 얼마나 잘 일반화되는가?

주요 결과

• ResNet-101 백본을 사용한 Faster R-CNN은 정상 조건에서 39.91% mAP 성능을 기록했으나, OOD 객체 없이 고강도 기상 조건에서는 24.73% mAP로 떨어져 악천후에 의해 성능 저하가 심각한 것으로 나타났다.
• OOD 객체가 포함된 고강도 기상 조건에서는 mAP가 12.41%로 추가로 감소하여, 분포 이탈이 기상 조건만으로 인한 성능 저하를 악화시킴을 입증하였다.
• 가우시안 YOLOv3 모델은 정상 조건에서 기초 성능이 낮았지만(20.81% mAP), PDQ 점수는 더 일관되게 유지되어 교란 조건 하에서 더 나은 불확실성 캘리브레이션을 보였다.
• 모든 모델에서 OOD 객체가 포함된 고강도 기상 조건에서는 mAP가 13% 이하로 급격히 하락하여 OOD 일반화의 과제를 강조하였다.
• 한 가지 유형의 불확실성(예: 기상)에 강건한 모델가 다른 유형(예: OOD)에서는 실패할 수 있음을 확인하여, 다중 원인 불확실성 평가의 필요성을 재확인하였다.
• MUAD에서 KITTI로의 초기 도메인 적응 실험 결과는 유망한 성과를 보였으며, 합성 데이터가 실세계 배포 파이프라인에 효과적으로 기여할 수 있음을 시사하였다.