[論文レビュー] Differentiable Integrated Motion Prediction and Planning with Learnable Cost Function for Autonomous Driving

Zhiyu Huang, Haochen Liu+2 more|arXiv (Cornell University)|Jul 21, 2022

Autonomous Vehicle Technology and Safety被引用数 5

ひとこと要約

本論文は、自律走行における運動予測と計画を、学習可能なコスト関数とともに一括で学習する微分可能でエンド・ツー・エンドのフレームワーク（DIPP）を提案する。変換器ベースの予測器と微分可能非線形最適化手法を統合することで、計画とコスト関数の重みを逆誤差伝搬可能にし、オープンループおよびクローズドループ評価の両方で人間の運転に類似した軌道を達成し、分離された予測・計画パイプラインよりも優れた耐障害性と性能を示す。

ABSTRACT

Predicting the future states of surrounding traffic participants and planning a safe, smooth, and socially compliant trajectory accordingly is crucial for autonomous vehicles. There are two major issues with the current autonomous driving system: the prediction module is often separated from the planning module and the cost function for planning is hard to specify and tune. To tackle these issues, we propose a differentiable integrated prediction-planning framework (DIPP) that can also learn the cost function from data. Specifically, our framework uses a differentiable nonlinear optimizer as the motion planner, which takes as input the predicted trajectories of surrounding agents given by the neural network and optimizes the trajectory for the autonomous vehicle, enabling all operations to be differentiable, including the cost function weights. The proposed framework is trained on a large-scale real-world driving dataset to imitate human driving trajectories in the entire driving scene and validated in both open-loop and closed-loop manners. The open-loop testing results reveal that the proposed method outperforms the baseline methods across a variety of metrics and delivers planning-centric prediction results, allowing the planning module to output trajectories close to those of human drivers. In closed-loop testing, the proposed method outperforms various baseline methods, showing the ability to handle complex urban driving scenarios and robustness against the distributional shift. Importantly, we find that joint training of planning and prediction modules achieves better performance than planning with a separate trained prediction module in both open-loop and closed-loop tests. Moreover, the ablation study indicates that the learnable components in the framework are essential to ensure planning stability and performance.

研究の動機と目的

• 予測と計画のモジュールが独立して学習され、コスト関数が手動で調整されるという自律走行システムにおける分離型アプローチの限界を解消する。
• エンド・ツー・エンドの学習により、予測モジュールが後続の計画目的を認識できるようにすることで、計画性能を向上させる。
• 実世界の走行データからコスト関数の重みを学習し、安全、快適、効率のトレードオフを自動的にバランスさせる。
• 計画プロセス全体を通じて微分可能最適化を可能にし、予測とコスト関数の重みの勾配ベース学習を可能にする。
• クローズドループシミュレーションテストを通じて、分布シフトや悪意のある状況に対しても耐障害性を示す。

提案手法

• マルチエージェント状況下で周囲のエージェントの将来の軌道を一括で予測するため、変換器ベースのニューラルネットワークを用いる。
• 予測された軌道と初期計画を、微分可能非線形最適化手法（例：逐次二次計画法）に供給し、エゴ車両の運動計画を生成する。
• 衝突回避、快適性、ルート準拠といった目的をバランスさせる微分可能な重みを有する学習可能なコスト関数を導入する。
• 計画損失（予測された軌道と人間の運転軌道の差）をパイプライン全体に逆誤差伝搬させ、予測とコスト関数の重みを同時に最適化する。
• 人間の行動を模倣するために、大規模な実世界の都市走行データセット上で、フレームワーク全体をエンド・ツー・エンドで学習する。
• 実世界の展開における耐障害性を評価するために、オープンループ（直接的軌道比較）およびクローズドループ（アンロールドシミュレーション）テストの両方で検証する。

実験結果

リサーチクエスチョン

• RQ1 予測モジュールと計画モジュールを同時に学習させることで、別個学習に比べて計画性能が向上するか？
• RQ2 実世界のデータから得た学習可能なコスト関数が、複雑な都市走行シナリオにおいて手動で調整されたコスト関数を上回るか？
• RQ3 エンド・ツー・エンドの微分可能学習により、クローズドループ環境における分布シフトへの一般化性と耐障害性が向上するか？
• RQ4 学習可能なコンponents（予測、コスト関数、プランナ）が、計画の安定性と性能にどの程度寄与するか？
• RQ5 微分可能プランナにより、予測とコスト関数の重みの勾配ベース最適化が可能となり、より人間の運転に類似した軌道が得られるか？

主な発見

• DIPPフレームワークは、複数の指標（計画精度、快適性、安全性）において、オープンループテストでベースライン手法を上回った。
• クローズドループテストでは、パイプラインベースおよびイミタション学習ベースの手法を著しく上回り、分布シフトや悪意のあるエージェントに対しても耐障害性を示した。
• 予測と計画モジュールの共同学習は、別個学習よりも優れた性能をもたらし、プランナは計画に配慮した予測から利益を得た。
• アブレーションスタディにより、予測、コスト関数、プランナのすべての学習可能コンponentsが、最適化の安定性を維持し、高い計画性能を達成するために不可欠であることが確認された。
• 学習されたコスト関数の重みは人間の運転観点からも妥当であり、ルート準拠と快適性が最も影響力が強く、ステアリング角は最小限の影響にとどまった。
• CPU上での推論時間は1.78秒と高かったが、フレームワークは優れた性能を示し、将来的なリアルタイム最適化のための実用的プロトタイプである。