[논문 리뷰] METEOR: A Massive Dense & Heterogeneous Behavior Dataset for Autonomous Driving.

Rohan Chandra, Mridul Mahajan외 5명|arXiv (Cornell University)|2021. 09. 16.

Autonomous Vehicle Technology and Safety참고 문헌 30인용 수 9

한 줄 요약

METEOR는 인도에서 촬영한 대규모, 고밀도, 이질적인 교통 데이터셋으로, 1,000개 이상의 1분 분량 영상 클립, 200만 개 이상의 주석 처리 프레임, 1,300만 개 이상의 경계 상자(박스)를 포함하며, 복잡하고 비정형적인 주행 행동을 포괄한다. 이 데이터셋은 객체 검출 및 행동 예측의 벤치마킹을 가능하게 하며, 최신 모델의 한계를 드러내고, 표준 평가 프로토콜과 기준 성능 지표를 제공하는 새로운 행동-행동 예측 벤치마크를 수립한다. 기준 mAP는 70.74이다.

ABSTRACT

We present a new and complex traffic dataset, METEOR, which captures traffic patterns in unstructured scenarios in India. METEOR consists of more than 1000 one-minute video clips, over 2 million annotated frames with ego-vehicle trajectories, and more than 13 million bounding boxes for surrounding vehicles or traffic agents. METEOR is a unique dataset in terms of capturing the heterogeneity of microscopic and macroscopic traffic characteristics. Furthermore, we provide annotations for rare and interesting driving behaviors such as cut-ins, yielding, overtaking, overspeeding, zigzagging, sudden lane changing, running traffic signals, driving in the wrong lanes, taking wrong turns, lack of right-of-way rules at intersections, etc. We also present diverse traffic scenarios corresponding to rainy weather, nighttime driving, driving in rural areas with unmarked roads, and high-density traffic scenarios. We use our novel dataset to evaluate the performance of object detection and behavior prediction algorithms. We show that state-of-the-art object detectors fail in these challenging conditions and also propose a new benchmark test: action-behavior prediction with a baseline mAP score of 70.74.

연구 동기 및 목표

• 실제 이질적인 환경, 특히 개발도상국에서 복잡하고 비정형적인 교통 행동을 포괄하는 종합적인 데이터셋이 부족한 문제를 해결하기 위해.
• 자신감 있는 차선 변경, 급작스러운 차선 변경, 신호 무시 등 다양한 드문 주행 행동을 포함한 대규모 데이터셋을 수집하고 주석 처리하기 위해.
• 극한의 현실적인 주행 조건에서 객체 검출 및 행동 예측 알고리즘의 평가를 지원하기 위해.
• 표준화된 평가 프로토콜과 기준 성능 지표를 제공하는 새로운 행동-행동 예측 벤치마크를 수립하기 위해.
• 농촌, 야간, 비 오는 날씨, 고밀도 교통 조건 등 다양한 시나리오로 훈련 및 테스트하여 자율주행 시스템의 강건성을 향상시키기 위해.

제안 방법

• 농촌, 도시, 고밀도 시나리오를 포함한 실제 인도 교통 환경에서 1,000개 이상의 1분 분량 영상 클립을 수집하였다.
• 200만 프레임에 걸쳐 1,300만 개 이상의 교통 참가자에 대해 자동차의 자기 차선 경로와 경계 상자(박스)를 수동으로 주석 처리하였다.
• 자신감 있는 차선 변경, 양보, 추월, 과속, 진동 주행, 반대 방향 주행, 신호 무시 등 드문 복잡한 행동을 포함하였다.
• 야간, 비 오는 날씨, 표시 없이 길 없는 농촌 도로 등 과도한 환경 조건을 포함하였다.
• 이 데이터셋을 기반으로 행동-행동 예측을 위한 새로운 벤치마크를 설계하였으며, 평균 평균 정확도(mAP)를 사용해 평가하였다.
• METEOR 데이터셋에서 최신 기술 모델을 사용하여 행동-행동 예측의 기준 mAP 점수를 70.74로 설정하였다.

실험 결과

연구 질문

• RQ1 최신 기술 객체 검출기는 드문 공격적인 주행 행동이 포함된 복잡하고 이질적인 교통 환경에서 어떻게 성능을 발휘하는가?
• RQ2 기존 행동 예측 모델은 교통 규칙이 약하거나 존재하지 않는 비정형 교통 환경에 얼마나 일반화되는가?
• RQ3 METEOR와 같은 대규모이고 다양한 데이터셋을 사용하여 행동-행동 예측을 위한 새로운 벤치마크를 효과적으로 수립할 수 있는가?
• RQ4 비, 야간, 표시 없이 길 없는 도로와 같은 환경 요소가 인식 및 예측 시스템의 성능에 어떤 영향을 미치는가?
• RQ5 현실 세계의 드문 고위험 주행 행동에 노출되었을 때 현재 모델의 주요 실패 원인은 무엇인가?

주요 결과

• 최신 기술 객체 검출기는 야간, 비 오는 날씨, 고밀도 교통 조건과 같은 과도한 조건에서 성능 저하를 보였다.
• 제안된 METEOR 데이터셋은 자동차의 갑작스러운 차선 변경, 급격한 차선 변경, 신호 무시 등 기존 데이터셋에서 부족하게 포괄된 다양한 드문 행동을 포괄한다.
• METEOR에서 행동-행동 예측의 기준 mAP 점수는 70.74로, 향후 연구를 위한 새로운 기준을 설정한다.
• 이 데이터셋은 현재 모델이 명확한 교통 규칙이 없는 비정형 환경에서 행동 검출 및 예측에 어려움을 겪는다는 것을 드러낸다.
• 농촌 및 표시 없이 길 없는 도로 시나리오에서 성능 저하가 심각하게 나타나, 인식 시스템의 강건성 향상이 필요하다는 것을 시사한다.
• METEOR의 다양한 시나리오와 행동은 현재 자율주행 시스템의 핵심적인 격차를暴露하며, 특히 현실적이고 표준화되지 않은 조건에서의 성능에 중점을 둔다.