[논문 리뷰] Unsupervised Sequence Forecasting of 100,000 Points for Unsupervised Trajectory Forecasting.

Xinshuo Weng, Jianren Wang외 3명|arXiv (Cornell University)|2020. 03. 18.

3D Shape Modeling and Analysis참고 문헌 19인용 수 9

한 줄 요약

이 논문은 LiDAR 데이터에서 밀도 높은 3D 시점 포인트 클라우드(10만 개 이상의 포인트)를 위한 새로운 비지도 학습 방법인 SPCSFNet을 제안한다. 이는 객체 수준의 애너테이션 없이도 종단 간 미래 예측을 가능하게 하며, 레이블이 없는 센서 데이터를 학습하고 시점 수준의 예측을 통해, 보조적인 궤적 레이블이 필요한 지도 학습 방법들을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

Predicting the future is a crucial first step to effective control, since systems that can predict the future can select plans that lead to desired outcomes. In this work, we study the problem of future prediction at the level of 3D scenes, represented by point clouds captured by a LiDAR sensor, i.e., directly learning to forecast the evolution of >100,000 points that comprise a complete scene. We term this Scene Point Cloud Sequence Forecasting (SPCSF). By directly predicting the densest-possible 3D representation of the future, the output contains richer information than other representations such as future object trajectories. We design a method, SPCSFNet, evaluate it on the KITTI and nuScenes datasets, and find that it demonstrates excellent performance on the SPCSF task. To show that SPCSF can benefit downstream tasks such as object trajectory forecasting, we present a new object trajectory forecasting pipeline leveraging SPCSFNet. Specifically, instead of forecasting at the object level as in conventional trajectory forecasting, we propose to forecast at the sensor level and then apply detection and tracking on the predicted sensor data. As a result, our new pipeline can remove the need of object trajectory labels and enable large-scale training with unlabeled sensor data. Surprisingly, we found our new pipeline based on SPCSFNet was able to outperform the conventional pipeline using state-of-the-art trajectory forecasting methods, all of which require future object trajectory labels. Finally, we propose a new evaluation procedure and two new metrics to measure the end-to-end performance of the trajectory forecasting pipeline. Our code will be made publicly available at this https URL

연구 동기 및 목표

• 밀도 높은 포인트 클라우드를 활용한 자율주행에서 장기 예측 및 고해상도 3D 시점 예측의 과제를 해결하기 위해.
• 객체 궤적 애너테이션에 의존하는 것을 제거하기 위해 객체 수준에서 센서 수준의 예측으로 전환하기 위해.
• 다양한 3D 시점 역학에 일반화할 수 있는 확장 가능한 비지도 학습 프레임워크를 개발하기 위해.
• 시점 수준의 예측이 기존의 객체 수준 궤적 예측 방법보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• SPCSFNet는 입력 LiDAR 스캔에서 직접 미래 3D 포인트 클라우드 시퀀스를 예측하며, 한 장면당 10만 개 이상의 포인트의 진화를 모델링한다.
• 시간적 및 기하학적 증강에 대해 예측된 포인트 클라우드 시퀀스의 일관성을 유도하는 자기지도 학습 목표를 사용한다.
• 장기적인 시퀀스에 걸쳐 세밀한 기하학적 세부 정보와 공간 일관성을 유지하도록 네트워크 아키텍처를 설계한다.
• 예측된 포인트 클라우드를 객체 탐지 및 추적 모듈의 입력으로 사용하는 새로운 파이프라인을 도입하여 궤적 레이블이 필요 없도록 한다.
• 대규모 레이블이 없는 LiDAR 데이터를 활용해 사전 훈련함으로써 다양한 주행 시나리오로의 일반화를 가능하게 한다.
• 예측된 포인트 클라우드를 사용하여 종단 간 궤적 예측 성능을 측정하기 위한 새로운 평가 프로토콜을 제안한다.

실험 결과

연구 질문

• RQ1 비지도 3D 시점 포인트 클라우드 예측이 지도 학습 기반의 객체 궤적 예측 방법보다 뛰어날 수 있는가?
• RQ2 객체 수준의 감독 없이 센서 수준의 예측이 어떻게 동적인 시점의 진화를 효과적으로 포착할 수 있는가?
• RQ3 원시 LiDAR 시퀀스에 대한 자기지도 학습이 하류 궤적 예측 성능 향상에 얼마나 효과적인가?
• RQ4 고밀도 10만 개 이상의 포인트 클라우드를 고해상도로 예측할 수 있게 하는 핵심 설계 선택은 무엇인가?
• RQ5 제안된 평가 절차는 기존 궤적 메트릭보다 실제 환경 성능을 더 정확하게 반영하는가?

주요 결과

• SPCSFNet는 SPCSF 과제에서 최신 기술 성능을 달성하여 10만 개 이상의 포인트를 포함한 고해상도 3D 시점 예측의 정밀도를 입증한다.
• 제안된 센서 수준의 예측 파이프라인은 미래 궤적 애너테이션이 필요한 기존 최신 기술의 궤적 예측 방법보다 뛰어난 성능을 보였다.
• KITTI 및 nuScenes 데이터셋에서의 검증을 통해 다양한 주행 시나리오에 대해 잘 일반화됨을 입증하였다.
• 레이블이 없는 LiDAR 데이터에서의 자기지도 학습을 통해 궤적 수준의 감독 없이도 효과적인 특징 학습이 가능했다.
• 새로운 평가 절차 및 메트릭은 종단 간 궤적 예측 성능에 대한 보다 정확한 평가를 제공한다.