[논문 리뷰] The H3D Dataset for Full-Surround 3D Multi-Object Detection and Tracking in Crowded Urban Scenes

Abhishek Patil, Srikanth Malla외 2명|arXiv (Cornell University)|2019. 03. 04.

Advanced Neural Network Applications참고 문헌 24인용 수 28

한 줄 요약

이 논문은 혼잡한 도심 환경에서 360° 라이다를 사용하여 수집한 대규모, 전방위 3D 다중 객체 검출 및 추적 벤치마크인 H3D 데이터셋을 소개한다. 효율적인 레이블링 방법론과 표준화된 평가 프로토콜을 제안하여, 각각 0.5 및 0.25 IoU 임계값에서 자동차의 mAP가 76.50%, 보행자의 mAP가 50.88%에 이르는 최신 기술 기반 기준 성능을 달성한다.

ABSTRACT

3D multi-object detection and tracking are crucial for traffic scene understanding. However, the community pays less attention to these areas due to the lack of a standardized benchmark dataset to advance the field. Moreover, existing datasets (e.g., KITTI) do not provide sufficient data and labels to tackle challenging scenes where highly interactive and occluded traffic participants are present. To address the issues, we present the Honda Research Institute 3D Dataset (H3D), a large-scale full-surround 3D multi-object detection and tracking dataset collected using a 3D LiDAR scanner. H3D comprises of 160 crowded and highly interactive traffic scenes with a total of 1 million labeled instances in 27,721 frames. With unique dataset size, rich annotations, and complex scenes, H3D is gathered to stimulate research on full-surround 3D multi-object detection and tracking. To effectively and efficiently annotate a large-scale 3D point cloud dataset, we propose a labeling methodology to speed up the overall annotation cycle. A standardized benchmark is created to evaluate full-surround 3D multi-object detection and tracking algorithms. 3D object detection and tracking algorithms are trained and tested on H3D. Finally, sources of errors are discussed for the development of future algorithms.

연구 동기 및 목표

• 복잡한 도심 환경에서 전방위 다중 객체 검출 및 추적을 위한 표준화되고 대규모인 3D 데이터셋의 부족을 해결한다.
• KITTI와 같은 기존 데이터셋이 전방위 360° 커버리지, 풍부한 애너테이션, 그리고 높은 상호작용성과 가림이 빈번한 장면의 충분한 데이터를 제공하지 못하는 한계를 극복한다.
• 밀도 있고 정확한 3D 경계상자 및 트랙 애너테이션을 제공함으로써 혼잡한 도심 환경에서의 3D 인식 연구를 가능하게 한다.
• 대규모 3D 포인트 클라우드의 애너테이션을 정확도를 유지하면서도 스케일링할 수 있는 효율적인 레이블링 파이프라인을 개발한다.
• 미래 알고리즘 간의 공정한 비교를 가능하게 하기 위해 전방위 3D 검출 및 추적을 위한 표준화된 평가 프로토콜을 수립한다.

제안 방법

• 캘리포니아 샌프란시스코 베이 지역의 HDD 데이터셋에서 160개의 전방위 360° 라이다 시퀀스를 수집하여, 혼잡하고 복잡한 도심 장면에 집중한다.
• 라이다 SLAM과 2D 투영 기법을 활용한 새로운 레이블링 방법론을 구현하여 대규모 포인트 클라우드에서 3D 경계상자 애너테이션을 가속화한다.
• 자동차, 보행자, 트럭 등 8종의 일반적인 교통 참가자를 포함해 총 27,721帧에서 1,071,302개의 인스턴스를 애너테이션한다.
• VoxelNet를 사용해 3D 객체 검출을 훈련 및 평가하며, 수정된 훈련 하이퍼파라미터를 적용: 80 에포크, 학습률 감소, 배치 크기 12, 범위별 포인트 필터링 (자동차는 40m, 보행자는 25.6m).
• 위치, 속도, 방향, 각속도를 포함한 상태 벡터를 갖는 유스케이티드 칼만 필터(UKF)를 사용해 전방위 3D 다중 객체 추적 시스템을 구현한다.
• 객체 중심 간 유클리드 거리 기반 데이터 연동을 적용하며, 가림 처리에는 수직 영역 배수와 2프레임의 트랙 노후화 기법을 사용한다.

실험 결과

연구 질문

• RQ1 밀도 있는 애너테이션을 갖춘 대규모 전방위 3D 데이터셋은 복잡한 도심 환경에서의 3D 다중 객체 검출 및 추적 모델의 성능 향상과 일반화 능력을 향상시킬 수 있는가?
• RQ2 제안된 레이블링 방법론은 정확도를 유지하면서 3D 포인트 클라우드의 애너테이션을 얼마나 효과적으로 가속화하는가?
• RQ3 높은 가림과 혼잡함 조건에서 3D 검출 및 추적의 주요 실패 원인은 무엇이며, 이는 알고리즘 성능에 어떤 영향을 미치는가?
• RQ4 검출 입력의 품질이 후속 3D 다중 객체 추적 정확도에 얼마나 큰 영향을 미치는가?
• RQ5 실제 도심 환경의 복잡성을 반영한 전방위 3D 추적 벤치마크에서 MOTA, MOTP, MT, ML과 같은 표준 평가 지표는 어떻게 작동하는가?

주요 결과

• H3D 데이터셋은 8개의 객체 클래스를 포함해 총 27,721帧에서 1,071,302개의 3D 경계상자 애너테이션을 포함하며, 지금까지 가장 큰 전방위 3D 검출 및 추적 데이터셋이다.
• VoxelNet는 자동차 검출에서 0.5 IoU 기준으로 76.50%의 mAP, 보행자 검출에서 0.25 IoU 기준으로 50.88%의 mAP를 기록하여 새로운 벤치마크에서의 기준 성능을 입증했다.
• 검출 실패는 주로 가림이 심한 장면에서 빈번히 발생하며, 특히 포인트 밀도가 낮고 부분적으로만 노출되는 보행자에서 빈도가 높다.
• 추적 성능는 검출 품질에 매우 민감하며, 정답 검출을 사용할 경우 자동차의 MOTA는 0.99, 보행자는 0.83에 도달하지만, 모델 예측을 사용할 경우 각각 0.762와 0.368로 떨어진다.
• 가림은 추적 성능에 심각한 영향을 미치며, 보행자 트랙의 43.4%가 '대부분 실종됨'(ML)으로 분류되어 장기적인 추적에서의 주요 과제임을 시사한다.
• 포인트 수가 적은 객체, 특히 정지하거나 부분적으로 노출된 차량에서 자이트 각도 추정 오차가 두드러지며, 이는 낮은 포인트 밀도 조건에서 방향 회귀의 한계를 드러낸다.