[論文レビュー] Rules of the Road: Predicting Driving Behavior with a Convolutional Model of Semantic Interactions

Joey Hong, Benjamin Sapp+1 more|arXiv (Cornell University)|Jun 21, 2019

Autonomous Vehicle Technology and Safety参考文献 36被引用数 21

ひとこと要約

本稿では、3次元エージェント状態とセマンティックマップ情報（レーン、信号機）を統合されたトップダウングリッドにエンコードすることで、複数モードのドライブ行動を予測する畳み込みニューラルネットワークを提案する。このアプローチにより、複雑なシーン内相互作用のエンドツーエンド学習が可能となり、5秒先までの将来軌道予測で最先端の性能を達成。環境的文脈の豊かさと不確実性を考慮した出力分布を活用することで、ベースラインを上回る結果を得た。

ABSTRACT

We focus on the problem of predicting future states of entities in complex, real-world driving scenarios. Previous research has used low-level signals to predict short time horizons, and has not addressed how to leverage key assets relied upon heavily by industry self-driving systems: (1) large 3D perception efforts which provide highly accurate 3D states of agents with rich attributes, and (2) detailed and accurate semantic maps of the environment (lanes, traffic lights, crosswalks, etc). We present a unified representation which encodes such high-level semantic information in a spatial grid, allowing the use of deep convolutional models to fuse complex scene context. This enables learning entity-entity and entity-environment interactions with simple, feed-forward computations in each timestep within an overall temporal model of an agent's behavior. We propose different ways of modelling the future as a distribution over future states using standard supervised learning. We introduce a novel dataset providing industry-grade rich perception and semantic inputs, and empirically show we can effectively learn fundamentals of driving behavior.

研究の動機と目的

• 高精細な3次元認識とセマンティックマップを含む大規模かつ現実的で、ドライブ行動予測に適したデータセットが不足している問題に対処すること。
• 空間グリッド表現を用いて、エージェントの動的挙動、相互作用、環境的文脈を統合的にモデル化する包括的なディープラーニングフレームワークの開発。
• パラメトリックおよびノンパラメトリックな出力分布を用いて不確実性とマルチモーダル性をモデル化することで、将来状態予測の精度を向上させること。
• セマンティックマップと動的エージェント文脈を組み込むことで、純粋に運動学的データのみを用いるモデルと比較して、予測精度が顕著に向上することを実証的に検証すること。
• 今後の自律走行分野の研究を支援するため、豊富な認識情報とセマンティック入力を備えた大規模で産業用途に耐えるデータセットを公開すること。

提案手法

• モデルは、ターゲット車両および周囲のエージェントの過去および現在の3次元状態に加え、セマンティックマップ特徴（レーン、信号機、ストップライン）をトップダウンの空間グリッド表現にエンコードする。
• 深層畳み込みニューラルネットワークがグリッドを処理し、各タイムステップで順方向推論により、シーンの文脈、エージェント間相互作用、時間的ダイナミクスを同時にモデル化する。
• 複数の出力ヘッドを用いて、将来状態を確率分布として予測する。具体的には、各タイムステップごとのガウス分布、混合ガウス分布（GMM-CVAE）、および軌道サンプリング用の占有グリッドマップを採用する。
• 微分可能サンプリング手順を用いて、学習済みの分布から軌道をサンプリングし、マルチモーダル予測の評価を可能にする。
• 教師あり学習により、真値の将来状態の尤度を最大化するようにモデルを訓練する。出力分布に特化した損失関数を用いる。
• アブレーションスタディにより、入力チャネル（ターゲット状態、他のエージェント、道路マップ）の寄与を分離し、予測性能への影響を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 統合された空間グリッド表現は、エンドツーエンドのドライブ行動予測において、動的エージェント状態と静的セマンティックマップ情報を効果的にエンコードできるか？
• RQ2 運動学的データのみを用いるモデルと比較して、セマンティックマップデータとマルチエージェント文脈を組み込むことで、将来軌道予測の精度はどの程度向上するか？
• RQ3 ガウス分布、混合ガウス分布、占有グリッドなど、異なる出力表現は、現実のドライブ行動のマルチモーダル性と不確実性をどの程度正確に捉えられるか？
• RQ4 大規模かつ現実的なデータセットで学習された深層畳み込みアーキテクチャは、多様な都市環境に一般化可能であり、長時間予測（最大5秒）の精度を向上させられるか？
• RQ5 アブレーションスタディにおいて、個々の入力コンponents（例：道路マップ、他のエージェント）の寄与度は、予測性能にどの程度影響を及えるか？

主な発見

• 他のエージェントの動的文脈を追加することで、ターゲット状態のみを用いるベースラインと比較して、5秒先の予測誤差が平均L2誤差で0.55m改善された。
• 道路マップの統合により、さらに0.33mの誤差低減が達成され、セマンティックシーン文脈が正確な予測に果たす重要な役割が裏付けられた。
• 4～5秒の長時間予測において、線形ベースラインおよび閉鎖型産業用手法を上回る性能を示し、優れたセマンティック理解能力を示した。
• トップ5の軌道選択戦略は、常に単一のMAP軌道予測を上回る性能を示し、マルチモーダル出力の価値が誤差低減に寄与することを確認した。
• 定性的な結果から、モデルは複雑な交差点でさえも、レーンキーピング、信号機準拠、レーン変更などの妥当なドライブ行動を学習していることが示された。
• マップのみからの情報では交通ルールが曖昧な場合、例えば逆走方向への不正なターンを予測する失敗事例が観察され、マップのみの推論には限界があることが示された。