[論文レビュー] PLOP: Probabilistic poLynomial Objects trajectory Planning for autonomous driving

Thibault Buhet, Émilie Wirbel+2 more|arXiv (Cornell University)|Mar 9, 2020

Autonomous Vehicle Technology and Safety参考文献 61被引用数 16

ひとこと要約

PLOPは、オートノミアスドライブのための1ショット、アンカーフリーな軌道予測フレームワークを提案する。このフレームワークは、多項式軌道制約を伴う確率的ガウス混合ネットワークを用い、高精細地図に依存せず、オンボードセンサ（カメラとLiDAR）のみを用いて、エゴ車両および周辺車両のマルチモーダルで滑らかな軌道を予測する。nuScenesベンチマークにおいて、高精細地図依存手法を上回る最先端の性能を達成しており、最終的移動誤差（FDE）とミス率において優れた性能を示している。

ABSTRACT

To navigate safely in urban environments, an autonomous vehicle (ego vehicle) must understand and anticipate its surroundings, in particular the behavior and intents of other road users (neighbors). Most of the times, multiple decision choices are acceptable for all road users (e.g., turn right or left, or different ways of avoiding an obstacle), leading to a highly uncertain and multi-modal decision space. We focus here on predicting multiple feasible future trajectories for both ego vehicle and neighbors through a probabilistic framework. We rely on a conditional imitation learning algorithm, conditioned by a navigation command for the ego vehicle (e.g., "turn right"). Our model processes ego vehicle front-facing camera images and bird-eye view grid, computed from Lidar point clouds, with detections of past and present objects, in order to generate multiple trajectories for both ego vehicle and its neighbors. Our approach is computationally efficient and relies only on on-board sensors. We evaluate our method offline on the publicly available dataset nuScenes, achieving state-of-the-art performance, investigate the impact of our architecture choices on online simulated experiments and show preliminary insights for real vehicle control

研究の動機と目的

• 複雑な都市部走行シナリオにおいて、複数の将来の行動が妥当な、マルチモーダルで不確実な軌道予測の課題に対処すること。
• 高精細地図に依存せず、オンボードセンサのみを用いた計算効率の高い1ショット軌道予測手法を開発すること。
• 補助的視覚認識タスク（例：セマンティックセグメンテーション）を軌道予測ネットワークに統合することで、予測精度を向上させること。
• オフラインベンチマーク評価およびクローズドループシミュレーションの両方で手法を評価し、リアルタイム制御への実用可能性を示すこと。
• 多項式軌道定式化や補助損失といったアーキテクチャ的選択が、予測の頑健性と一般化性能に与える影響を調査すること。

提案手法

• PLOPは、高水準のナビゲーションコマンド（例：'右に曲がる'）を条件として用いる、条件付きイミテーションラーニングフレームワークを採用し、軌道生成をガイドする。
• 前方カメラ画像とベーシックビューのLiDARポイントクラウドに加え、物体検出結果と過去のトラックを処理することで、シーンの文脈を符号化する。
• 滑らかさと整合性を保証するため、多項式軌道パラメータ化を用いた混合密度ネットワーク（MDN）により、ガウス混合として軌道を予測する。
• 多項式定式化により、学習の柔軟性を高め、MDNにおけるモード崩壊や訓練の不安定性を軽減する追加のパラメータが導入される。
• シーンのレイアウト情報を向上させるために、バックボーンネットワークに補助的なセマンティックセグメンテーションヘッドを追加し、軌道予測精度を向上させる。
• エキスパートのデモンストレーションを用いたイミテーションラーニングにより、エンドツーエンドでモデルを訓練する。損失関数は、位置のずれと最終的移動誤差の両方をペナルティとして課す。

実験結果

リサーチクエスチョン

• RQ1 高精細地図を一切使用しない、オンボードセンサのみに依存する軌道予測システムが、nuScenesのような公開ベンチマークで最先端の性能を達成できるか？
• RQ2 確率的MDNフレームワークにおける多項式軌道定式化は、従来の逐次的またはアンカーベースの手法と比較して、予測の安定性と一般化性能をどのように向上させるか？
• RQ3 補助的なセマンティックセグメンテーションヘッドを追加することで、複雑な都市部シナリオにおける軌道予測精度はどの程度向上するか？
• RQ4 1ショットでエンドツーエンドに設計されたアーキテクチャは、逐次的またはマルチステージアプローチと比較して、誤差の蓄積や長期予測の忠実度においてどのように異なるか？
• RQ5 クローズドループシミュレーションにおけるシステムの失敗モードは何か。これは、センサの限界や、信号の状態などの欠落した文脈的情報（例：信号の状態）とどのように関係しているか？

主な発見

• PLOPは、nuScenesの軌道予測ベンチマークで最先端の性能を達成しており、高精細地図に依存する手法を上回り、最終的移動誤差（FDE）とミス率において優れた性能を示している。高精細地図を使用していないにもかかわらずである。
• トップ2の競合手法（cxxとMHA-JAM）と比較して、minFDEとミス率の両方で顕著な改善が見られ、長期的な軌道推定精度の向上が裏付けられている。
• 補助的なセマンティックセグメンテーションヘッドの導入により、急カーブや円形交差点のような困難なシナリオにおける横方向の予測誤差が低減された。
• クローズドループシミュレーションにおける失敗事例は、主に信号手前や大型車両の周囲、予測不能な歩行者に囲まれた場面で速度予測が高めに評価されすぎたことに起因している。
• 1ショットアーキテクチャにより、逐次モデルで見られる誤差蓄積が回避されており、minADEはわずかに悪いもののFDEで優れた性能を示していることから、グローバルな軌道最適化が行われていると示唆される。
• 本手法は実車両制御への実用可能性を示しており、予備的な結果では、軌道予測結果が適切な性能でクローズドループドライブシミュレーションに使用可能であることが確認された。