[論文レビュー] PnPNet: End-to-End Perception and Prediction with Tracking in the Loop

Ming Liang, Bin Yang+5 more|arXiv (Cornell University)|May 29, 2020

Autonomous Vehicle Technology and Safety参考文献 51被引用数 8

ひとこと要約

PnPNetは、3次元物体検出、複数対象トラッキング、運動予測を統合的に最適化するエンド・ツー・エンドのディーブラーニングフレームワークを提案する。オンライン軌跡推定と明示的な運動履歴を共有バックボーンに埋め込むことで、遮蔽回復と将来予測の精度が向上し、nuScenesおよびATG4Dデータセットで予測指標において顕著な向上を達成し、最先端の性能を実現した。

ABSTRACT

We tackle the problem of joint perception and motion forecasting in the context of self-driving vehicles. Towards this goal we propose PnPNet, an end-to-end model that takes as input sequential sensor data, and outputs at each time step object tracks and their future trajectories. The key component is a novel tracking module that generates object tracks online from detections and exploits trajectory level features for motion forecasting. Specifically, the object tracks get updated at each time step by solving both the data association problem and the trajectory estimation problem. Importantly, the whole model is end-to-end trainable and benefits from joint optimization of all tasks. We validate PnPNet on two large-scale driving datasets, and show significant improvements over the state-of-the-art with better occlusion recovery and more accurate future prediction.

研究の動機と目的

• 自律走行車両におけるモジュラーで逐次的な認識スタックの限界を解消すること。これは、各モジュールが独立して最適化されることで誤差が累積するためである。
• 特に遮蔽時における予測精度を向上させるために、オブジェクトトラックからの完全な時間的文脈を活用すること。
• 統一的でエンド・ツー・エンドでトレーニング可能なアーキテクチャにより、検出、トラッキング、予測の共同最適化を可能にすること。
• 生のセンサーフィーチャーから運動を推定するのではなく、トラッキングされた検出結果から明示的に運動履歴をモデル化することで、軌跡表現を向上させること。
• トラッキングを学習ループに統合することで、実世界の走行シナリオにおいてより強固で正確な認識と予測が達成できることを実証すること。

提案手法

• PnPNetは、LiDARとマップの特徴を逐次処理する共有バックボーンネットワークを用い、検出、トラッキング、予測モジュール間でパラメータを共有する。
• 過去の検出結果からの推定運動と生のセンサ観測を組み合わせた新しい軌跡表現を導入し、時間的ダイナミクスを再帰的ネットワークでモデル化する。
• 学習可能な関数を用いてデータアソシエーションと軌跡推定を同時に解く、離散的・連続的両対象トラッカーを採用し、遮蔽、新規オブジェクトの出現、誤検出に対応する。
• モデルは2つの明示的なメモリモジュールを維持する：一つはグローバルなセンサーフィーチャーマップ用、もう一つは過去のオブジェクト軌跡用。両者とも各タイムステップで更新される。
• トラッキングの順序付けと局所化の精度を向上させるために、軌跡の再スコアリングと最適化を実装し、下流の予測品質を向上させる。
• すべてのモジュールがエンド・ツー・エンドでトレーニングされ、一般化性能と時間的整合性の向上に寄与する共同最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドの学習ループに複数対象トラッキングを統合することで、運動予測精度と遮蔽回復が顕著に向上するか？
• RQ2 トラッキングされた軌跡からの明示的運動履歴のモデル化と、生のセンサーフィーチャーからの運動推定を比較した場合、予測性能にどのような差が生じるか？
• RQ3 長期間の軌跡履歴を用いることで、特に遮蔽状況下で予測のロバスト性がどの程度向上するか？
• RQ4 軌跡の再スコアリングと最適化は、認識と予測の全体的性能にどの程度寄与しているか？
• RQ5 共有計算を有する統一的でエンド・ツー・エンドのアーキテクチャは、実世界の走行シナリオにおいて、モジュラーまたは後処理型トラッキングアプローチを上回る性能を発揮するか？

主な発見

• PnPNetは、ベースラインモデルと比較してATG4DデータセットでFDE（最終的距離誤差）に17%、ADE（平均距離誤差）に18%の改善を達成した。
• 明示的な軌跡からの運動特徴を除去すると、予測誤差が約6%増加し、予測において運動履歴の重要性が示された。
• 遮蔽回復の向上が顕著に見られた：単一対象トラッカーを除去すると最大リコールが1.7%低下し、トラックの継続性を維持する役割が明確になった。
• 軌跡の再スコアリングと最適化は顕著な貢献を示し、これを除去すると検出APが7%以上、ADEが4.7%以上低下した。これは、トラックの順序付けと正確性に不可欠な役割を果たしていることを示している。
• 予測性能は約16フレーム（1.6秒）の履歴で飽和し、実世界の交通ダイナミクスにおいてより長いシーケンスは限界効果を示すことが示唆された。
• PnPNetはnuScenesよりもATG4Dでより大きな向上を示した。これは、ATG4Dに移動対象の割合が高く、運動パターンがより複雑であるためと考察された。