[논문 리뷰] BLVD: Building A Large-scale 5D Semantics Benchmark for Autonomous Driving

Jianru Xue, Jianwu Fang외 5명|arXiv (Cornell University)|2019. 03. 15.

Advanced Neural Network Applications참고 문헌 27인용 수 15

한 줄 요약

이 논문은 자율주행을 위한 대규모 5차원 의미론적 벤치마크인 BLVD를 소개한다. 이는 정적 3D 검출 및 분할을 넘어서 4D 추적, 5D 상호작용 이벤트 인식, 5D 의도 예측과 같은 고도화된 작업을 가능하게 한다. 벤치마크는 다양한 조건(주간/야간, 도심/고속도로, 저밀도/고밀도)에서 수집된 249,129개의 3D annotation, 214,922개의 점을 포함한 4,902개의 추적 인스턴스, 6,004개의 이벤트 인식 조각, 4,900개의 의도 예측 샘플을 포함하며, 동기화된 라이다, 카메라 및 GPS/IMU 데이터를 지원하여 동적인 시나리오 이해를 위한 엔드 투 엔드 학습을 가능하게 한다.

ABSTRACT

In autonomous driving community, numerous benchmarks have been established to assist the tasks of 3D/2D object detection, stereo vision, semantic/instance segmentation. However, the more meaningful dynamic evolution of the surrounding objects of ego-vehicle is rarely exploited, and lacks a large-scale dataset platform. To address this, we introduce BLVD, a large-scale 5D semantics benchmark which does not concentrate on the static detection or semantic/instance segmentation tasks tackled adequately before. Instead, BLVD aims to provide a platform for the tasks of dynamic 4D (3D+temporal) tracking, 5D (4D+interactive) interactive event recognition and intention prediction. This benchmark will boost the deeper understanding of traffic scenes than ever before. We totally yield 249,129 3D annotations, 4,902 independent individuals for tracking with the length of overall 214,922 points, 6,004 valid fragments for 5D interactive event recognition, and 4,900 individuals for 5D intention prediction. These tasks are contained in four kinds of scenarios depending on the object density (low and high) and light conditions (daytime and nighttime). The benchmark can be downloaded from our project site https://github.com/VCCIV/BLVD/.

연구 동기 및 목표

• 자율주행 연구 분야에서 대규모, 시간적으로 일관되며 상호작용 가능한 5차원 의미론적 벤치마크의 부족을 해결하기 위해.
• 정적 3D 검출 및 의미론적 분할을 넘어서 동적인 교통 시나리오에 대한 깊이 있는 이해를 가능하게 하기 위해.
• 표준화된 메트릭을 사용하여 4D 추적, 5D 상호작용 이벤트 인식 및 5D 의도 예측을 평가할 수 있는 통합 플랫폼을 제공하기 위해.
• 다양한 실제 주행 조건에서 고품질의 동기화된 다중 센서 데이터(LiDAR, 카메라, GPS/IMU)를 수집 및 애너테이션하기 위해.
• 3D 검출, 추적, 이벤트 인식 및 의도 예측을 하나의 벤치마크 프레임워크에 통합함으로써 엔드 투 엔드 학습 파이프라인을 지원하기 위해.

제안 방법

• 벤치마크는 벨로디나 HDL-64E 라이다, 이중 고해상도 카메라(1920×500), GPS/IMU 시스템을 탑재한 자율주행 플랫폼을 기반으로 구축되었으며, 모든 센서는 자동으로 동기화되고 校정되었다.
• 빠른 온라인 校정 방법을 통해 120,000 프레임에 걸쳐 라이다 및 카메라 데이터 간 정확한 레지스트레이션을 달성하였으며, 10Hz에서 완전한 동기화를 확보하였다.
• 249,129개의 인스턴스에 대해 3D 경계상자 애너테이션을 수행하였으며, 다양한 시나리오에서 214,922개의 궤적 점을 포함해 4,902명의 개별 대상이 추적되었다.
• 5D 상호작용 이벤트는 6,004개의 조각에 대해 애너테이션되었으며, 자동차(에고-차량)와의 상호작용, 이벤트 상태 및 기하학적 구조를 포함한다.
• 의도 예측은 향후 5~10단계 동안의 3D 경계상자 위치, 방향, 이벤트 상태를 예측하는 LSTM 기반 네트워크로 모델링되었다.
• 평가 메트릭은 위치에 대한 ADE 및 FDE, 방향 및 3D 박스 오버랩(PCA VOG 기준)에 대한 ADE 및 FDE를 포함하며, IoU < 50%일 경우 오차를 보정하는 δ 항을 포함한다.

실험 결과

연구 질문

• RQ1 자율주행에서 동적인 4D 추적 및 5D 상호작용 이벤트 인식을 지원하기 위해 대규모 5차원 의미론적 벤치마크를 어떻게 구축할 수 있는가?
• RQ2 완전한 5차원 애너테이션을 가진 다양한 실제 주행 시나리오에서 훈련된 의도 예측 모델의 성능 한계는 무엇인가?
• RQ3 5차원 의도 예측 작업에서 관측 및 예측 환경이 다를 경우 예측 정확도와 오차는 어떻게 변하는가?
• RQ4 5차원 의미론(이벤트 상태 및 3차원 기하학 포함)의 통합이 자율주행 인식 시스템의 강건성에 얼마나 기여하는가?
• RQ5 3D 검출, 추적, 이벤트 인식 및 의도 예측을 통합한 통합 벤치마크는 모델의 일반화 능력과 작업 간 전이 능력을 향상시키는 데 기여하는가?

주요 결과

• 5단계 관측 및 5단계 예측 조건에서 보행자 궤적에 대해 5차원 의도 예측 모델은 평균 이격 오차(ADE) 0.34미터, 최종 이격 오차(FDE) 0.49미터를 기록하였다.
• 차량에 대해서는 동일한 5-5 예측 설정에서 ADE 0.47미터, FDE 0.69미터를 기록하였으며, 중간 수준이지만 안정적인 성능을 보였다.
• 더 긴 예측 환경(예: 10-10)에서는 오차가 증가하여 차량의 FDE가 1.12미터에 도달하였으며, 시간이 지남에 따라 예측 불확실성이 증가하는 경향을 보였다.
• 10단계 관측 및 5단계 예측 조건(10-5)에서는 차량에 대해 ADE 0.38미터, FDE 0.57미터로 더 낮은 오차를 기록하여 더 긴 관측 시퀀스가 정확도 향상에 기여하는 것으로 나타났다.
• 3D 박스 오버랩 메트릭(s(V, V̂)) 및余kosine 보정을 적용한 방향 오차는 기하학적 및 방향 예측 정확도 평가에 기여하였다.
• 벤치마크는 이벤트 상태 예측에 대한 정밀도, 재현율 및 평균 정밀도(AP)를 포함한 다중 모달 평가를 지원하여 상호작용 행동 이해의 종합적 평가를 가능하게 하였다.