[論文レビュー] Multimodal Trajectory Predictions for Autonomous Driving using Deep Convolutional Networks

Henggang Cui, Vladan Radosavljević+6 more|arXiv (Cornell University)|Sep 18, 2018

Autonomous Vehicle Technology and Safety参考文献 46被引用数 27

ひとこと要約

本論文は、走行車両の周囲の交通状況をラスタライズド・ビューアイ・ビュー表現で表し、複数の将来の軌道とその確率を推定する、深層畳み込みニューラルネットワーク（CNN）に基づくマルチモーダル軌道予測手法を提案する。この手法は、特に長い予測ホライズンにおいて、ユニモーダルなベースラインを著しく上回り、M=3モードで最適な性能と適正な確率推定を達成する。

ABSTRACT

Autonomous driving presents one of the largest problems that the robotics and artificial intelligence communities are facing at the moment, both in terms of difficulty and potential societal impact. Self-driving vehicles (SDVs) are expected to prevent road accidents and save millions of lives while improving the livelihood and life quality of many more. However, despite large interest and a number of industry players working in the autonomous domain, there still remains more to be done in order to develop a system capable of operating at a level comparable to best human drivers. One reason for this is high uncertainty of traffic behavior and large number of situations that an SDV may encounter on the roads, making it very difficult to create a fully generalizable system. To ensure safe and efficient operations, an autonomous vehicle is required to account for this uncertainty and to anticipate a multitude of possible behaviors of traffic actors in its surrounding. We address this critical problem and present a method to predict multiple possible trajectories of actors while also estimating their probabilities. The method encodes each actor's surrounding context into a raster image, used as input by deep convolutional networks to automatically derive relevant features for the task. Following extensive offline evaluation and comparison to state-of-the-art baselines, the method was successfully tested on SDVs in closed-course tests.

研究の動機と目的

• 交通行動における高い不確実性に対処するため、単一の平均軌道ではなく、複数の妥当な将来の軌道を予測すること。
• 人間の運転行動のマルチモーダル性をモデル化することで、自動運転車の安全性と意思決定能力を向上させること。
• 高精細地図と周囲のアクターの情報を入力として用いる深層学習フレームワークを構築し、エンドツーエンドの軌道予測を実現すること。
• Mixture Density Networks（MDN）、Mixture of Experts（ME）、および新規のマルチモーダル軌道予測（MTP）モデルを含む、さまざまなマルチモーダル予測アーキテクチャを評価・比較すること。
• 実世界のクローズドコースでのテストを通じて、本手法が実用的かつ実装可能であることを検証すること。

提案手法

• 本手法は、高精細地図と他のアクターの位置を含む周囲の交通状況を、ビューアイ・ビュー（BEV）ラスタ画像に変換し、深層畳み込みニューラルネットワークの入力として用いる。
• 新規のマルチモーダル軌道予測（MTP）モデルを提案し、学習可能なモード選択ポリシーを用いて複数の将来の軌道とその確率を出力する。
• トレーニング段階では距離ベースの損失関数を用い、2つのバリアントを採用：1つは変位を、もう1つは角度差を用いて予測モードと真値軌道を一致させる。
• モデルは、予測モードと真値軌道との距離を最小化するように学習され、モード確率はバケット解析を用いて補正される。
• 複数の仮説評価戦略を採用し、変位または角度に基づいて最良のマッチングモードを選択する。特に交差点付近では角度ベースのマッチングが性能向上をもたらす。
• 本手法は実世界の走行データを用いてオフラインで評価され、実際の自動運転車でのクローズドコーステストでも検証された。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、単一の平均軌道ではなく、複数の妥当な将来の軌道を効果的に予測できるか。これにより、現実の走行における不確実性をよりよく反映できるか。
• RQ2 軌道距離尺度の選択（変位 vs. 角度）が、特に曲がりくねった走行のような複雑な操作におけるマルチモーダル軌道予測の性能にどのように影響するか。
• RQ3 マルチモーダル軌道予測において、予測モード数（M）の最適値は何か。予測精度とモデルの複雑さのバランスを取る上で最適なMは何か。
• RQ4 予測されたモード確率はどの程度適正に補正されているか。また、自動運転意思決定における予測の信頼性にどのように影響するか。
• RQ5 さまざまな走行シナリオにおいて、提案されたMTPモデルは、短距離および長距離予測精度の両面でSOTAベースラインをどのように上回るか。

主な発見

• M=3モードでMTPモデルが最も優れた全体的な性能を達成し、ユニモーダルおよび他のマルチモーダルベースラインをすべての評価指標で上回った。
• M=3で角度ベースのモードマッチングを用いた場合、直進走行では6秒予測誤差が2.18メートルにまで低下し、右折走行では5.17メートルにまで低下した。
• 角度距離を用いたマッチングにより、曲がりくねった走行の性能が0.4〜0.5メートル向上したが、直進走行ではわずか0.03メートルの低下にとどまった。
• モード確率の補正状況は良好であり、モード確率補正プロットがy=xの基準線に非常に近づいていた。
• 本手法はマルチモーダル行動を的確に捉えており、M=4の場合、「まっすぐ進む」モードが「速い」および「遅い」の2つのバリエーションに分離され、現実の縦方向速度のばらつきを反映した。
• 本手法は実際の自動運転車を用いたクローズドコーステストでも検証され、動的環境下での実用的妥当性と頑健性が確認された。