[논문 리뷰] trajdata: A Unified Interface to Multiple Human Trajectory Datasets

Boris Ivanovic, Guanyu Song외 2명|arXiv (Cornell University)|2023. 07. 26.

Traffic Prediction and Management Techniques인용 수 6

한 줄 요약

이 논문은 자율주행차와 보행자에 걸쳐 다양한 인간의 궤적 데이터셋 8종을 통합하고, 일관되고 효율적이며 확장 가능한 표형 포맷으로 변환함으로써 통일된 API를 제공하는 permissively licensed 소프트웨어 프레임워크인 trajdata를 소개한다. 주요 기여는 다중 데이터셋 기반의 보완적인 벤치마킹을 가능하게 하여, 애너테이션 품질, 자동라벨링 성능, 데이터 편향에 대한 핵심 통찰을 드러내며, 향후 데이터셋 설계에 이르기까지 지침을 제공한다는 점이다.

ABSTRACT

The field of trajectory forecasting has grown significantly in recent years, partially owing to the release of numerous large-scale, real-world human trajectory datasets for autonomous vehicles (AVs) and pedestrian motion tracking. While such datasets have been a boon for the community, they each use custom and unique data formats and APIs, making it cumbersome for researchers to train and evaluate methods across multiple datasets. To remedy this, we present trajdata: a unified interface to multiple human trajectory datasets. At its core, trajdata provides a simple, uniform, and efficient representation and API for trajectory and map data. As a demonstration of its capabilities, in this work we conduct a comprehensive empirical evaluation of existing trajectory datasets, providing users with a rich understanding of the data underpinning much of current pedestrian and AV motion forecasting research, and proposing suggestions for future datasets from these insights. trajdata is permissively licensed (Apache 2.0) and can be accessed online at https://github.com/NVlabs/trajdata

연구 동기 및 목표

• 자율주행차 및 보행자 궤적 예측 연구에서 사용되는 주요 인간 궤적 데이터셋 간의 분산된 데이터 포맷과 API 문제를 해결하기 위해.
• 다양한 데이터셋을 통합하는 데 소요되는 엔지니어링 부담을 줄이기 위해 단일하고 일관되며 확장 가능한 데이터 인터페이스를 제공하기 위해.
• 궤적 데이터 품질, 애너테이션 일관성, 모델 일반화 잠재력에 대한 종합적인 교차 데이터셋 실증 평가를 가능하게 하기 위해.
• 현재 데이터셋에서 나타나는 체계적 편향과 제약, 예를 들어 제한된 레이블링 범위나 지ap 커버리지 문제 등을 규명하고, 향후 데이터 수집을 위한 실질적인 권고안을 제공하기 위해.

제안 방법

• trajdata는 SI 단위로 핵심 에이전트 다이내믹스(위치, 속도, 가속도, 헤딩, 크기)를 추출하여 궤적 및 지도 데이터를 표준화하며, 유한 차분과 선형 보간을 사용해 누락되거나 일관되지 않은 데이터를 유도한다.
• 이 프레임워크는 다양한 원천 포맷(TFRecords, Zarr, JSON 등)을 통일된 표형 데이터 구조로 변환하여 효율적인 인덱싱, 필터링 및 그룹화 연산을 가능하게 한다.
• Waymo, nuScenes, Lyft Level 5, INTERACTION, SDD 등 다양한 데이터셋을 지원하며, 지도 데이터와 에이전트 수준의 메타데이터를 모두 포함한다.
• 딥 러닝 프레임워크인 PyTorch와의 네이티브 통합을 통해 훈련 및 평가 파이프라인에서 직접 사용할 수 있도록 한다.
• 충돌 탐지 및 지도 정렬 검증과 같은 자동화된 데이터 품질 검사를 포함하여 애너테이션의 일관성 문제를 식별한다.
• 확장 가능한 아키텍처를 통해 향후 새로운 데이터셋과 모odalities(센서 데이터 및 기하학적 지도 요소 포함)의 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 드론 기반 데이터 수집(예: INTERACTION 데이터셋)과 지상 기반 자율주행차 인식 시스템 간의 애너테이션 품질과 자기 일관성은 어떻게 비교되는가, 특히 LiDDR를 사용한 경우?
• RQ2 현대적인 자동라벨링 파이프라인은 인간 레이블링 데이터의 정확도에 얼마나 다가서며, 어디서 아직 부족한가?
• RQ3 현재 대규모 궤적 데이터셋에서 나타나는 주요 편향과 제약은 무엇인가? 예를 들어 제한된 레이블링 범위나 열악한 지도 커버리지 문제 등.
• RQ4 다양한 데이터셋은 희귀하거나 복잡한 행동(예: 급가속 또는 에이전트 충돌)을 탐지하는 데 얼마나 잘 성능을 내는가?
• RQ5 운동 예측 연구의 일반화, 다양성, 내구성을 향상시키기 위해 향후 데이터셋 출시 시 따라야 할 설계 원칙은 무엇인가?

주요 결과

• 드론 기반 데이터 수집, 예를 들어 INTERACTION 데이터셋에서의 경우, 드론의 우수한 시야와 낮은 가림 현상 덕분에 지상 기반 자율주행차 인식 시스템보다 훨씬 정확도가 높은 경계 상자 애너테이션을 제공한다.
• 현대적인 자동라벨링 파이프라인은 충돌 탐지 비율 측면에서 인간 레이블링 수준에 근접한 성능을 보이지만, 복잡한 밀도 높은 보행자 상호작용에서는 여전히 성능이 떨어진다.
• Waymo, Lyft, nuScenes 등의 데이터셋은 차량의 1% 이상에서 급가속 이벤트를 기록하며, 이는 긴 꼬리 분포의 가속도 분포와 일치한다.
• nuScenes는 주요 도로 외부의 지도 커버리지가 열악하며, Lyft는 특히 '알 수 없음' 클래스에서 도로 근처에 높은 수준의 가짜 양성 탐지 결과를 보인다.
• SDD와 같은 소규모 보행자 데이터셋은 제한된 스케일에도 불구하고 고밀도의 사회적 상호작용 시나리오에 있어 여전히 가치 있는 자료로 남아 있다.
• 현재 데이터셋은 직선 주행에 강한 편향을 보이며, 많은 데이터셋이 다양한 지리적 지역, 특히 사회경제적 또는 이동 접근성 프ofile이 다른 지역을 충분히 반영하지 못하고 있다.