[論文レビュー] Unsupervised Sequence Forecasting of 100,000 Points for Unsupervised Trajectory Forecasting.

Xinshuo Weng, Jianren Wang+3 more|arXiv (Cornell University)|Mar 18, 2020

3D Shape Modeling and Analysis参考文献 19被引用数 9

ひとこと要約

本稿では、LiDARデータからの密度の高い3次元シーン点群（10万点以上）を予測する、未学習の新しい手法SPCSFNetを提案する。物体レベルのアノテーションが不要なエンドツーエンドの未来予測を可能にする。ラベルなしセンサデータで学習し、シーンレベルの予測を活用することで、軌道ラベルを必要とする教師あり手法を上回る、最新の性能を達成した。

ABSTRACT

Predicting the future is a crucial first step to effective control, since systems that can predict the future can select plans that lead to desired outcomes. In this work, we study the problem of future prediction at the level of 3D scenes, represented by point clouds captured by a LiDAR sensor, i.e., directly learning to forecast the evolution of >100,000 points that comprise a complete scene. We term this Scene Point Cloud Sequence Forecasting (SPCSF). By directly predicting the densest-possible 3D representation of the future, the output contains richer information than other representations such as future object trajectories. We design a method, SPCSFNet, evaluate it on the KITTI and nuScenes datasets, and find that it demonstrates excellent performance on the SPCSF task. To show that SPCSF can benefit downstream tasks such as object trajectory forecasting, we present a new object trajectory forecasting pipeline leveraging SPCSFNet. Specifically, instead of forecasting at the object level as in conventional trajectory forecasting, we propose to forecast at the sensor level and then apply detection and tracking on the predicted sensor data. As a result, our new pipeline can remove the need of object trajectory labels and enable large-scale training with unlabeled sensor data. Surprisingly, we found our new pipeline based on SPCSFNet was able to outperform the conventional pipeline using state-of-the-art trajectory forecasting methods, all of which require future object trajectory labels. Finally, we propose a new evaluation procedure and two new metrics to measure the end-to-end performance of the trajectory forecasting pipeline. Our code will be made publicly available at this https URL

研究の動機と目的

• 密度の高い点群（10万点以上）を用いた自動走行における長時間予測・高解像度3次元シーン予測の課題に対処すること。
• 物体軌道アノテーションに依存しないように、物体レベルの予測からセンサレベルの予測へと移行することで、物体レベルのアノテーションに依存しないこと。
• 多様な3次元シーンの動的挙動に一般化可能なスケーラブルな未学習学習フレームワークの開発。
• シーンレベルの予測が、従来の物体レベルの軌道予測手法を上回ることを示すこと。

提案手法

• 本手法であるSPCSFNetは、入力のLiDARスキャンから直接、将来の3次元点群シーケンスを予測し、1シーンあたり10万点以上の点群の変化をモデル化する。
• 時間的および幾何的オーグメンテーションに対して予測された点群シーケンスの一貫性を促進する自己教師型学習目的関数を採用する。
• 長時間のシーケンスにわたり、微細な幾何的詳細と空間的一致性を保持するようにネットワークアーキテクチャを設計する。
• 予測された点群を物体検出およびトラッキングモジュールの入力として使用する、新たなパイプラインを導入し、軌道ラベルの必要性を回避する。
• 大規模なラベルなしLiDARデータを用いた事前学習により、多様な走行シナリオへの一般化を可能にする。
• 予測された点群を用いてエンドツーエンドの軌道予測性能を測定する新しい評価プロトコルを提案する。

実験結果

リサーチクエスチョン

• RQ1 未学習の3次元シーン点群予測が、教師ありの物体軌道予測手法を上回ることができるか？
• RQ2 物体レベルの監視なしに、センサレベルの予測は動的シーンの進化をどれほど効果的に捉えることができるか？
• RQ3 生のLiDARシーケンスにおける自己教師型学習は、下流の軌道予測性能をどれほど向上させることができるか？
• RQ4 高精度な10万点以上の点群の予測を可能にする主な設計選択肢は何か？
• RQ5 提案された評価手順は、標準的な軌道メトリクスと比較して、実世界の性能をどれほど正確に反映しているか？

主な発見

• SPCSFNetはSPCSFタスクで最先端の性能を達成し、10万点を超える密度の高い3次元シーンの高精度な予測を実現した。
• 提案されたセンサレベルの予測パイプラインは、将来の軌道アノテーションを必要とする既存の最先端の軌道予測手法を上回った。
• KITTIおよびnuScenesデータセットを用いた検証により、多様な走行シーンにわたり良好な一般化性能を示した。
• ラベルなしLiDARデータに対する自己教師型学習により、軌道レベルの監視なしに効果的な特徴学習が可能になった。
• 新しい評価手順およびメトリクスにより、エンドツーエンドの軌道予測性能のより正確な評価が可能になった。