[論文レビュー] End-to-end Interpretable Neural Motion Planner

Wenyuan Zeng, Wenjie Luo+5 more|arXiv (Cornell University)|Jan 17, 2021

Autonomous Vehicle Technology and Safety参考文献 32被引用数 4

ひとこと要約

本稿では、生のLiDARおよびHDマップデータを処理して3D検出結果、未来の軌道、および時間に依存するコストボリュームを生成するエンドツーエンドで解釈可能なニューラルモーションプランナー（NMP）を提案する。モデルは多様で物理的に妥当な軌道をサンプリングし、学習済みコストが最小となるものを選択することで、ベースラインより安全な計画を実現しながら、実世界の都市走行データにおいて検出および運動予測の分野で最先端の性能を維持する。

ABSTRACT

In this paper, we propose a neural motion planner (NMP) for learning to drive autonomously in complex urban scenarios that include traffic-light handling, yielding, and interactions with multiple road-users. Towards this goal, we design a holistic model that takes as input raw LIDAR data and a HD map and produces interpretable intermediate representations in the form of 3D detections and their future trajectories, as well as a cost volume defining the goodness of each position that the self-driving car can take within the planning horizon. We then sample a set of diverse physically possible trajectories and choose the one with the minimum learned cost. Importantly, our cost volume is able to naturally capture multi-modality. We demonstrate the effectiveness of our approach in real-world driving data captured in several cities in North America. Our experiments show that the learned cost volume can generate safer planning than all the baselines.

研究の動機と目的

• エンドツーエンド学習と従来のモジュラーな自律走行スタックの間のギャップを埋め、中間表現を通じて解釈可能で、統合最適化された認識と計画を可能にすること。
• 認識と計画の両方を同時に最適化するモーションプランナーを開発し、3D検出結果、未来の軌道、および空間時間的コストボリュームといった解釈可能な中間出力を生成すること。
• 交通信号の処理、譲り行為、複数エージェント間の相互作用を含む、複雑な都市シナリオにおける安全性と耐障害性を向上させること。
• コストマップや運動予測といった中間表現を露出させることで、解釈可能性と故障解析を向上させること。
• 計画の安全性、検出精度、運動予測性能において、エンドツーエンドおよびモジュラーなベースラインを上回ること。

提案手法

• モデルはバックボーンネットワークを用いて生のLiDAR点群とHDマップを処理し、周囲のエージェントの3Dバウンディングボックスとその未来の軌道を予測する。
• 複数のフィルタを備えたコストボリュームを生成し、計画期間全体にわたり、エゴ車両の各未来位置の「良さ」を符号化する。これによりマルチモダリティの捉えが可能になる。
• 検出、運動予測、計画の損失を統合した共同最適化目的関数により、エンドツーエンドでコストボリュームを学習する。
• 軌道サンプラがコストボリュームに基づき、多様で物理的に妥当な候補軌道を生成する。
• 最終的なモーションプランは、コストボリュームのフィルタからインデックスされた全時間ステップにわたる累積コストが最小となる軌道として選択される。
• モデルは衝突やレーン違反を回避するため、交通ルールペナルティを組み込んでいる。

Figure 1: Our end-to-end interpretable neural motion planner (NMP). Backbone network takes LiDAR data and maps as inputs, and outputs bounding boxes of other actors for future timesteps (perception), as well as a cost volume for planning with $T$ filters. Next, for each trajectory proposal from the

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのニューラルネットワークが、中間表現を通じて解釈可能であると同時に、認識と計画を統合最適化できるか。
• RQ2 学習済みコストボリュームが、レーン変更とレーン維持の両方のようなマルチモーダルなドライブ行動をどれほど的確に捉えられるか。
• RQ3 検出、予測、計画の共同最適化が、タスク固有またはモジュラーなシステムと比較して、安全性と性能を向上させるか。
• RQ4 交通が混雑し、動的な相互作用が生じる複雑な都市シナリオに、どの程度一般化できるか。
• RQ5 学習済みコストボリュームが、実世界の走行シナリオにおいて、手作業で設計されたコスト関数を上回るか。

主な発見

• 提案されたNMPは、IoU 0.5で94.2、0.6で90.8、0.7で81.1という最先端のmAPを達成し、3D検出分野の専用検出器（PixorやIntentNet）を上回った。
• 運動予測において、全時間ステップでベースラインより低いL1およびL2誤差を達成し、t=5sでのL2誤差が0.85mにとどまり、軌道予測の精度が向上した。
• モデルは将来の衝突率を大幅に低減した。ILおよびEgo-motionベースラインと比較して50％以上低い衝突率を示し、計画における安全性が優れていることを裏付けた。
• アブレーションスタディにより、計画損失と交通ルールペナルティを併用した共同学習が、衝突率およびレーン違反率の低下に顕著に寄与することが確認された。
• コストマップの可視化により、モデルが時間に依存し、シナリオに適応したコスト分布を学習していることが示された。これにはマルチモダリティ、レーン維持、衝突回避行動が含まれる。
• ACC（レーンを追従することを目的とした）よりも低いレーン違反率を達成しており、これはモデルがデータからマップに依存する行動を学習していることを示しており、ハードコードされたルールに依存していないことを裏付けた。

Figure 2: Trajectory Representation. We first sample a set of parameters of a Clothoid to determine the shape of a trajectory. We then sample a velocity profile to determine how fast the SDV go along this trajectory. Combining these two, we can get a space-time trajectory.