[논문 리뷰] Mcity Data Collection for Automated Vehicles Study

Yiqun Dong, Yuanxin Zhong외 6명|arXiv (Cornell University)|2019. 12. 12.

Autonomous Vehicle Technology and Safety참고 문헌 32인용 수 13

한 줄 요약

이 논문은 Mcity 테스트 시설에서 개방 도로와 체계적인 도심 시나리오 주행을 통해 수집한 다중 센서 데이터(카메라, 라이다, 레이더, RTK, 차량 제어장치, 내부 카메라 포함)를 포함하는 포괄적인 오픈소스 데이터셋인 Mcity 데이터셋을 제시한다. 주요 기여는 다양한 조명, 기상 조건, 도로 상태 및 운전 행동(합법적 및 규칙 위반 행동 포함)을 포함한 시나리오 기반으로 정리된 유일무이한 완전한 데이터셋을 제공함으로써 자율주행차의 인식 및 제어 시스템에 대한 강력한 훈련과 평가를 가능하게 한다.

ABSTRACT

The main goal of this paper is to introduce the data collection effort at Mcity targeting automated vehicle development. We captured a comprehensive set of data from a set of perception sensors (Lidars, Radars, Cameras) as well as vehicle steering/brake/throttle inputs and an RTK unit. Two in-cabin cameras record the human driver's behaviors for possible future use. The naturalistic driving on selected open roads is recorded at different time of day and weather conditions. We also perform designed choreography data collection inside the Mcity test facility focusing on vehicle to vehicle, and vehicle to vulnerable road user interactions which is quite unique among existing open-source datasets. The vehicle platform, data content, tags/labels, and selected analysis results are shown in this paper.

연구 동기 및 목표

• 모든 주요 자율주행차 센서 유형(카메라, 라이다, 레이더)을 포함하고 일관된 레이블링과 다양한 환경 조건을 제공하는 종합적이고 오픈소스인 데이터셋이 부족한 문제를 해결하기 위해.
• 복잡한 교차로에서의 상호작용에 중점을 두고 안전하게 제어된 체계적인 시나리오를 통해 자연주의적 주행 외에도 데이터를 수집하여 자율주행차 개발을 향상시키기 위해.
• 규칙 위반 및 악조건의 기상 조건을 포함한 어려운 운전 행동을 포함한 완전하고 레이블링된 데이터셋을 제공함으로써 데이터 기반의 인식 및 제어 연구를 지원하기 위해.
• 차선 변경, 전방 회전, 고속도로 진입/출구와 같은 구체적인 주행 시나리오로 데이터를 정리하여 자율주행차 시스템의 시나리오 기반 평가를 지원하기 위해.
• 조도, 기상 조건, 도로 상태, 영상 품질, 운전 행동 등의 세부 레이블을 추가하여 데이터셋의 유용성을 향상시키기 위해

제안 방법

• 테스트 차량에 32빔 레이저 라이다, Ibeo 라이다, 다수의 카메라, 레이더, RTK GNSS 등의 완전한 센서 세트와 차량 제어 센서(스티어링, 브레이크, 페달)를 설치하였다.
• 다양한 시간대, 기상 조건(비, 눈, dense 안개 포함), 조도(낮/밤)에서 고정된 개방 도로 노선을 따라 자연주의적 주행 데이터를 수집하였다.
• Mcity 테스트 시설 내에서 교차로에서의 차량-차량, 차량-보행자, 차량-자전거 기준 상호작용에 중점을 둔 체계적인 주행 시나리오를 수행하였다.
• 정상(예의 바르고 법을 지키는) 및 비정상(공격적, 규칙 위반) 운전 행동을 포함하도록 시나리오를 설계하여 극단적인 케이스를 포착하였다.
• 주행 시나리오(예: 좌회전, 차선 변경), 조도, 기상 조건, 도로 표면 상태, 영상 품질, 도로 유형 등의 세부 레이블링을 구현하였다.
• 행동 예측 및 제어 시스템의 훈련 및 평가를 지원하기 위해 시나리오별로 데이터를 세분화하여 정리하였다.

실험 결과

연구 질문

• RQ1 다양한 실제 환경 조건에서 자율주행차의 강력한 인식 및 제어를 지원하기 위해 종합적이고 다중 센서 데이터셋을 어떻게 수집할 수 있는가?
• RQ2 자연주의적 데이터 외에 체계적인 시나리오 기반 데이터를 포함함으로써 자율주행차 시스템 평가가 얼마나 향상되는가?
• RQ3 실제 주행 시나리오에서 다양한 환경 조건에서 다양한 센서 유형(예: 32빔 라이다 대비 4빔 라이다)의 성능은 어떻게 나타나는가?
• RQ4 세부적인 시나리오 기반 데이터 정리 방식이 데이터 기반 자율주행차 인식 모델의 훈련 및 평가를 어떻게 향상시킬 수 있는가?
• RQ5 악조건(예: 낮은 조도, 안개, 눈, 렌즈 condensation)이 인식 시스템 성능에 미치는 영향은 무엇이며, 이를 체계적으로 캡처하고 레이블링할 수 있는가?

주요 결과

• Mcity 데이터셋은 다양한 조명, 기상 조건 및 교통 조건에서 50시간의 자연주의적 주행 데이터와 총 3,000마일의 데이터를 포함하며, 카메라, 라이다, 레이더 및 차량 제어 신호를 포함한 완전한 센서 커버리지가 이루어져 있다.
• 이 데이터셋은 자연주의적 주행과 체계적인 시나리오를 모두 포함하고 있으며, 특히 보호 없는 전방 회전 및 양보 행동과 같은 복잡한 도심 상호작용에 중점을 두고 있다.
• 7개의 구체적인 주행 시나리오—좌회전, 우회전, 좌측 차선 변경, 우측 차선 변경, 고속도로 진입, 고속도로 출구, 차선 유지—로 데이터를 체계적으로 정리하여 시나리오 기반 분석이 가능하게 되었다.
• 조도(낮/밤), 기상 조건(맑음, 비, 눈, 안개), 도로 표면 상태(积 snow, 표면 악화 등), 영상 품질(렌즈 condensation, 블러 등)에 대한 세부 레이블링이 포함되어 있다.
• 양보 없이 안전하지 않은 좌측 전방 회전과 같은 규칙 위반 행동이 포함되어 있어, 비합법적인 도로 사용자 행동을 탐지하고 대응할 수 있도록 훈련하는 데에 필수적인 데이터를 제공한다.
• 이 데이터셋은 카메라, 라이다, 레이더의 세 가지 주요 자율주행차 센서 유형을 모두 포함하고 있으며, 완전한 차량 제어 신호와 철저한 시나리오 기반 레이블링을 동시에 제공하는 유일무이한 오픈소스 데이터셋이다.