[論文レビュー] DSDNet: Deep Structured self-Driving Network

Wenyuan Zeng, Shenlong Wang+4 more|arXiv (Cornell University)|Aug 13, 2020

Autonomous Vehicle Technology and Safety参考文献 62被引用数 12

ひとこと要約

DSDNet は、1つのニューラルネットワークを用いて、自律走行車両のオブジェクト検出、マルチモーダルな運動予測、および安全な運動計画を統合的に行う包括的なディープラーニングフレームワークである。サンプルベースの推論を用いた深い構造的エネルギーに基づくモデルを採用し、社会的相互作用と不確実性を捉える。nuScenes、ATG4D、CARLA-Precogの各データセットにおいて、予測精度と衝突回避性能の両面で、先行手法を顕著に上回っている。

ABSTRACT

In this paper, we propose the Deep Structured self-Driving Network (DSDNet), which performs object detection, motion prediction, and motion planning with a single neural network. Towards this goal, we develop a deep structured energy based model which considers the interactions between actors and produces socially consistent multimodal future predictions. Furthermore, DSDNet explicitly exploits the predicted future distributions of actors to plan a safe maneuver by using a structured planning cost. Our sample-based formulation allows us to overcome the difficulty in probabilistic inference of continuous random variables. Experiments on a number of large-scale self driving datasets demonstrate that our model significantly outperforms the state-of-the-art.

研究の動機と目的

• 自律走行車両のオブジェクト検出、運動予測、運動計画を統合的に実行する包括的なディープラーニングフレームワークの開発。
• 交通参加者間の複雑な社会的相互作用を、校正されたマルチモーダルな未来予測で明示的にモデル化すること。
• 不確実性と相互作用に配慮した未来分布を明示的に組み込むことで、運動計画の安全性を向上させること。
• 高次元のシナリオにおける連続的軌道の確率的推論の計算的課題を克服すること。
• 実世界およびシミュレーテッドデータセットにおける統合学習の有効性を示し、先行手法に比べて安全性と精度が向上することを確認すること。

提案手法

• すべてのアクターの未来軌道の連合分布をパrameter化するため、構造的エネルギーに基づくモデル（EBM）を用い、相互作用を明示的にモデル化する。
• 連続的軌道をサンプリングするサンプルベースの推論フレームワークを採用し、効率的な周辺分布の計算に信念伝播を用いる。
• データドリブンな学習コストと人間の事前知識（例：衝突回避、交通ルール）を組み合わせた構造的運動計画コスト関数を導入する。
• LiDAR および HD マップ入力の処理に共通の CNN バックボーンを活用し、検出、予測、計画のエンドツーエンド統合最適化を可能にする。
• 推論中に、サンプルされた軌道集合に対するメッセージパッシングを適用し、アクター間で不確実性と相互作用情報の伝播を実現する。
• マルチモーダル予測のための条件付き VAE に類似した潜在空間を用いるが、暗黙の分布を、サンプルされた軌道上での明示的かつ非パラメトリックなモデリングに置き換える。

実験結果

リサーチクエスチョン

• RQ1 1つのディープニューラルネットワークが、自律走行車両における認識、運動予測、計画を効果的に統合できるか。
• RQ2 交通参加者間の社会的相互作用を、校正された不確実性を伴うマルチモーダル未来予測で明示的にモデル化できるか。
• RQ3 マルチモーダル未来予測を組み込むことで、運動計画の安全性と性能がどの程度向上するか。
• RQ4 連続的軌道の上でのサンプルベース推論が、高次元の運動予測における従来の確率的推論の効率的でスケーラブルな代替手段となり得るか。
• RQ5 学習された知識と人間の事前知識を組み合わせた構造的計画コストが、衝突回避および交通ルール準拠性をどの程度向上させるか。

主な発見

• DSDNet は、nuScenes において予測衝突率 0.2‰ を達成し、先行する最先端手法を顕著に上回っている。マルチモーダル性のみをモデル化した場合の衝突率は 2.4‰、相互作用モデルなしでは 4.9‰ であった。
• マルチモーダル性とペアワイズ相互作用モデルの両方を含めることで、予測 L2 距離が 1.22m にまで低下し、両方を無視した場合の 1.28m よりも改善された。
• マルチモーダル予測を組み込んだ運動計画では、衝突率が 0.26% に低下した。一方、最も可能性の高い予測のみを用いた場合の衝突率は 0.45% であった。
• DSDNet は、入力解像度を小さく（500×500 vs. 1000×1000）したにもかかわらず、Megvii などの最先端 LiDAR ディテクタと同等の検出性能を達成しており、マルチタスク学習による性能劣化がないことが示された。
• 定性的な結果から、DSDNet は交差点でのマルチモーダル行動（例：車両が曲がるか譲るかの意思決定）を捉えており、滑らかでレーン遵守かつ衝突のない軌道を生成している。
• アブレーションスタディの結果、マルチモーダル予測と相互作用モデリングの両方が衝突率低減に不可欠であることが確認され、特に両方を併用した場合に最も顕著な向上が得られた。