[논문 리뷰] Argoverse: 3D Tracking and Forecasting with Rich Maps

Ming-Fang Chang, John Lambert외 9명|arXiv (Cornell University)|2019. 11. 06.

Autonomous Vehicle Technology and Safety참고 문헌 53인용 수 157

한 줄 요약

Argoverse는 동기화된 LiDAR와 360° 스테레오 이미지, 그리고 풍부한 HD 맵을 갖춘 2개의 대규모 자율주행 데이터셋(3D 추적 및 모션 예측)을 도입하며, HD 맵 맥 context가 3D 추적과 예측 성능을 향상시킵니다.

ABSTRACT

We present Argoverse -- two datasets designed to support autonomous vehicle machine learning tasks such as 3D tracking and motion forecasting. Argoverse was collected by a fleet of autonomous vehicles in Pittsburgh and Miami. The Argoverse 3D Tracking dataset includes 360 degree images from 7 cameras with overlapping fields of view, 3D point clouds from long range LiDAR, 6-DOF pose, and 3D track annotations. Notably, it is the only modern AV dataset that provides forward-facing stereo imagery. The Argoverse Motion Forecasting dataset includes more than 300,000 5-second tracked scenarios with a particular vehicle identified for trajectory forecasting. Argoverse is the first autonomous vehicle dataset to include "HD maps" with 290 km of mapped lanes with geometric and semantic metadata. All data is released under a Creative Commons license at www.argoverse.org. In our baseline experiments, we illustrate how detailed map information such as lane direction, driveable area, and ground height improves the accuracy of 3D object tracking and motion forecasting. Our tracking and forecasting experiments represent only an initial exploration of the use of rich maps in robotic perception. We hope that Argoverse will enable the research community to explore these problems in greater depth.

연구 동기 및 목표

• 자율주행에서 3D 객체 추적 및 모션 예측을 위한 대규모 다중모달 데이터 제공
• HD 맵 구성요소(벡터 차선 중심선, 지상 고도, 주행 가능 영역) 도입 및 인지 태스크에서의 유용성 시연
• 다양한 클래스의 실제 3D 트랙 주석 및 다양한 현실적 시나리오를 포함한 예측 벤치마크 제공

제안 방법

• 동기화된 LiDAR, 360° RGB 영상, 프런트 스테레오, 6-DoF 위치추정과 함께 두 개의 데이터셋(3D Tracking과 Motion Forecasting) 출시
• 벡터 차선 그래프, 래스터 지상 고도, 래스터 주행 가능 영역/ROI를 포함한 HD 맵 제공
• 주행 가능 영역 내 15개 객체 클래스에 대한 3D 직육면체 트랙 주석화
• 데이터 1006시간에서 5초의 미래 궤적을 발굴하여 대규모 예측 벤치마크(324,557 시퀀스) 생성
• 맵 데이터를 센서 데이터와 연결하는 API를 제공하여 맵 기반 인지 및 예측 벤치마스를 가능하게 함

실험 결과

연구 질문

• RQ1 HD 맵 정보(차선 중심선, 주행 가능 영역, 지면 높이)가 자율주행에서 3D 객체 추적을 어떻게 향상시킬 수 있는가?
• RQ2 풍부한 시맨틱 맵을 활용하여 복잡한 주행 상황(교차로, 합류, 밀집한 교통)에서 모션 예측을 어떻게 개선할 수 있는가?
• RQ3 맵 기반 사전정보와 다중 모달 예측이 추적 정확도와 예측 다양성에 미치는 영향은 무엇인가?
• RQ4 맵 컨텍스트가 예측 모델의 지면 제거, 방향 스냅핑, 궤적 가지치기에 어떤 영향을 주는가?

주요 결과

• HD 맵 컨텍스트가 3D 추적 정확도를 향상시키며, 특히 지면 제거 및 차선 방향에 대한 방향 정합성을 개선함
• 예측 벤치마크에서 맵 파생 중심선과 주행 가능 영역 프라이어가 다양한, 그럴듯한 미래 궤적을 가능하게 하고 DAC(드라이블 영역 준수) 향상을 가져옴
• 사회적 맥락과 맵 특징(센터라인, 차선 간격)을 포함한 베이스라인 예측 모델들이 여러 예측 시점에서 최소 ADE / 최소 FDE 및 DAC를 개선
• 데이터셋은 추적용 113 로그 세그먼트(11,052개 주석 객체)와 324,557개의 5초 예측 시퀀스를 포함하여 다중모달 예측 평가를 풍부하게 함
• 더 크고 풍부한 맵은 맵 자동화 연구를 가능하게 하고 HD 맵 기반 인지 및 예측 방법의 벤치마크를 제공함