[논문 리뷰] SODA10M: Towards Large-Scale Object Detection Benchmark for Autonomous Driving

Jianhua Han, Xiwen Liang외 8명|arXiv (Cornell University)|2021. 06. 21.

Advanced Neural Network Applications참고 문헌 65인용 수 11

한 줄 요약

SODA10M은 자율주행을 위한 대규모이고 다양한 조건을 반영한 첫 번째 대규모 벤치마크를 소개하며, 32개 도시와 다양한 환경 조건에서 1,000만 장의 레이블이 없는 이미지와 20,000장의 완전히 레이블링된 이미지를 포함한다. 이는 실제 주행 환경에서의 강인성을 향상시키기 위해 원시 데이터를 활용하여 자기지도학습 및 준지도학습 방법의 평가를 가능하게 한다.

ABSTRACT

Aiming at facilitating a real-world, ever-evolving and scalable autonomous driving system, we present a large-scale benchmark for standardizing the evaluation of different self-supervised and semi-supervised approaches by learning from raw data, which is the first and largest benchmark to date. Existing autonomous driving systems heavily rely on `perfect' visual perception models (e.g., detection) trained using extensive annotated data to ensure the safety. However, it is unrealistic to elaborately label instances of all scenarios and circumstances (e.g., night, extreme weather, cities) when deploying a robust autonomous driving system. Motivated by recent powerful advances of self-supervised and semi-supervised learning, a promising direction is to learn a robust detection model by collaboratively exploiting large-scale unlabeled data and few labeled data. Existing dataset (e.g., KITTI, Waymo) either provides only a small amount of data or covers limited domains with full annotation, hindering the exploration of large-scale pre-trained models. Here, we release a Large-Scale Object Detection benchmark for Autonomous driving, named as SODA10M, containing 10 million unlabeled images and 20K images labeled with 6 representative object categories. To improve diversity, the images are collected every ten seconds per frame within 32 different cities under different weather conditions, periods and location scenes. We provide extensive experiments and deep analyses of existing supervised state-of-the-art detection models, popular self-supervised and semi-supervised approaches, and some insights about how to develop future models. The data and more up-to-date information have been released at this https URL.

연구 동기 및 목표

• 자율주행에서 자기지도학습 및 준지도학습 객체 탐지 평가를 위한 대규모, 다양한 조건, 확장 가능한 벤치마크의 부족을 해결하기 위해.
• 비용이 많이 들고 광범위한 수작업 레이블링에 의존하는 것을 줄이기 위해, 방대한 양의 레이블이 없는 데이터와 제한된 레이블 데이터를 조합하여 모델이 학습할 수 있도록 하기 위해.
• 야간 주행, 극한 기상 조건, 도심 환경 등 다양한 실제 주행 조건에서 일반화할 수 있는 강인한 인식 시스템 개발을 지원하기 위해.
• 실제 주행 환경의 분포 이탈을 반영하는 현실적인 대규모 데이터셋을 통해 자기지도학습 및 준지도학습 접근법 간의 평가를 표준화하기 위해.
• 공개 가능한 종합적인 벤치마크를 제공함으로써 향후 대규모이고 일반화 가능한 객체 탐지 연구의 기반을 마련하기 위해.

제안 방법

• 32개의 다양한 도시에서 10초 간격으로 1,000만 장의 레이블이 없는 이미지를 수집하여 기상, 조도, 도시/농촌 환경의 다양성을 확보하기 위해.
• 6개의 일반적인 객체 카테고리(예: 차량, 보행자, 자전거 기사)를 포함한 20,000장의 이미지를 레이블링하여 학습 및 평가에 사용할 수 있는 소량이지만 고품질의 레이블 데이터 세트를 제공하기 위해.
• 레이블이 없는 데이터에서의 사전 훈련과 제한된 레이블 데이터에서의 피지컬 훈련이 가능하도록 하여 자기지도학습 및 준지도학습 방법의 평가를 지원할 수 있도록 데이터셋을 설계하기 위해.
• 시간적, 공간적, 환경적 다양성을 통해 데이터의 다양성을 확보하기 위해, 일몰/일출 주기와 다양한 기상 조건을 포함하기 위해.
• 전체 데이터셋과 관련 평가 프로토콜을 공개하여 탐지 모델의 표준화된 벤치마킹을 가능하게 하기 위해.
• 감독학습, 자기지도학습, 준지도학습 모델 간의 광범위한 분석 및 비교를 통해 성능 및 일반화 능력을 분석하기 위해.

실험 결과

연구 질문

• RQ1 제한된 레이블링을 가진 대규모이고 실제 주행 조건을 반영한 자율주행 탐지 벤치마크에서 자기지도학습 및 준지도학습 방법의 성능는 어떻게 되는가?
• RQ2 도시, 기상 조건, 일출/일몰 시간 등 데이터의 다양성이 객체 탐지 모델의 일반화 및 강인성에 얼마나 큰 영향을 미치는가?
• RQ3 1,000만 장의 레이블이 없는 이미지에서의 사전 훈련이 더 작은 데이터셋에서 감독학습 사전 훈련보다 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ4 기존 최고 수준의 탐지 모델들이 이 새로운 벤치마크에서 실제 주행 환경의 분포 이탈이 발생할 경우 어떻게 일반화되는가?
• RQ5 이 데이터셋에서 극단적 또는 희귀 조건에서 모델의 실패 유형과 강인성을 분석함으로써 도출할 수 있는 통찰은 무엇인가?

주요 결과

• SODA10M 벤치마크는 레이블이 20,000개에 불과한 작은 데이터 세트에서도 1,000만 장의 레이블이 없는 이미지에서 자기지도학습 사전 훈련을 통해 객체 탐지 성능 향상에 기여한다.
• 준지도학습 방법은 방대한 양의 레이블이 없는 데이터를 효과적으로 활용하여 다양한 주행 조건에서의 일반화 능력을 향상시키며 뛰어난 성능을 달성한다.
• SODA10M에서 사전 훈련된 모델은 야간 주행이나 악천후 조건과 같은 분포 이탈에 대해 더 강인한 성능를 보이며, 더 작은, 다양성이 떨어지는 데이터셋에서 훈련된 모델보다 뛰어난 성능를 보인다.
• 벤치마크는 현재의 감독학습 모델이 희귀하거나 분포 이탈 시나리오에서 어려움을 겪는다는 것을 드러내며, 자기지도학습 및 준지도학습 접근법의 필요성을 강조한다.
• 광범위한 분석을 통해 공간적 및 시간적 차원에서의 데이터 다양성이 모델의 일반화 능력 향상과 실세계 배포 시 실패율 감소에 핵심적인 역할을 한다는 것이 확인되었다.
• SODA10M의 공개는 향후 자율주행을 위한 대규모 실세계 객체 탐지에서의 새로운 방법 평가 및 비교를 위한 표준 플랫폼을 제공한다.