[論文レビュー] Egocentric Vision-based Future Vehicle Localization for Intelligent Driving Assistance Systems

Yu Yao, Mingze Xu+4 more|arXiv (Cornell University)|Sep 19, 2018

Autonomous Vehicle Technology and Safety被引用数 6

ひとこと要約

本論文は、過去の車両位置、画像特徴量、高密度オプティカルフロー、予測された自己運動を活用して、エゴセントリックビジョンベースの将来の車両位置推定を向上させるためのマルチストリームRNNエンコーダーデコーダーモデルを提案する。本モデルは、新たに提示されたHEV-IおよびKITTIデータセットの両方で最先端の性能を達成し、25.56のFDEスコアを記録しており、ベースラインを著しく上回り、オプティカルフローと自己運動モデリングの重要性を示している。

ABSTRACT

Predicting the future location of vehicles is essential for safety-critical applications such as advanced driver assistance systems (ADAS) and autonomous driving. This paper introduces a novel approach to simultaneously predict both the location and scale of target vehicles in the first-person (egocentric) view of an ego-vehicle. We present a multi-stream recurrent neural network (RNN) encoder-decoder model that separately captures both object location and scale and pixel-level observations for future vehicle localization. We show that incorporating dense optical flow improves prediction results significantly since it captures information about motion as well as appearance change. We also find that explicitly modeling future motion of the ego-vehicle improves the prediction accuracy, which could be especially beneficial in intelligent and automated vehicles that have motion planning capability. To evaluate the performance of our approach, we present a new dataset of first-person videos collected from a variety of scenarios at road intersections, which are particularly challenging moments for prediction because vehicle trajectories are diverse and dynamic.

研究の動機と目的

• インтелиジェントドライブシステム向けに、第一人称（エゴセントリック）動画における将来の車両位置とスケールを予測する課題に対処すること。
• 動的で複雑な都市交差点における動きと外観の変化を的確に捉える、堅牢な時系列モデリングフレームワークを構築すること。
• 複雑な交差点シナリオに焦点を当てた、多様性に富んだ第一人称動画データセットを新たに作成し、今後の研究を支援すること。
• 困難な走行環境における予測精度に及ぼすオプティカルフローと将来の自己運動の影響を評価すること。
• 提案されたHEV-Iおよび既存のKITTIデータセットの両方で、最先端の性能を示すこと。

提案手法

• 複数の入力ストリーム（過去の車両バウンディングボックス、画像特徴量、高密度オプティカルフロー、将来の自己運動）を処理するためのマルチストリームRNNエンコーダーデコーダー（RNN-ED）アーキテクチャを提案する。
• 各入力ストリームに対して別個のエンコーダーを用い、共通のデコーダーを用いて時間経過に伴う将来のバウンディングボックスを生成する。
• 高密度オプティカルフローを、フレーム間の動きと外観の変化を捉えるために重要な入力ストリームとして統合する。
• 将来の自己運動を明示的に入力として取り入れることで、計画的かつ複雑な運転行動が想定される状況でも予測精度を向上させる。
• 各未来予測が直前の隠れ状態に条件付けられる時系列更新メカニズムを採用することで、ワンショット生成に比べてより優れた長期的な軌道モデリングが可能になる。
• 教師強化学習によりエンドツーエンドで学習し、将来のバウンディングボックスの真値を監視対象とし、位置とスケールの両方を最適化する損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 エゴセントリックビジョンベースの手法は、複雑な都市交差点において、将来の車両位置とスケールを効果的に予測できるか？
• RQ2 高密度オプティカルフローを組み込むことで、エゴセントリック動画における将来の車両位置推定の精度はどのように向上するか？
• RQ3 将来の自己運動をモデリングすることで、動的かつ複雑な走行シナリオにおける予測性能はどの程度向上するか？
• RQ4 本研究で提案するマルチストリームRNN-EDアーキテクチャは、畳み込み・デコンボリューションモデルと比較して、時系列モデリング能力に優れているか？
• RQ5 本手法は、HEV-IやKITTIといった多様なデータセットに一般化可能か？

主な発見

• 提案されたRNN-ED-XOEモデルは、HEV-Iデータセットで最終的なFDEが24.92を達成し、線形ベースライン（72.37）および一定加速度ベースライン（58.00）を著しく上回っている。
• 最先端のConv1Dベースライン（FDE 29.06）と比較して約15%の性能向上を達成し、FDEが25.56にまで低下している。
• アブレーションスタディの結果、高密度オプティカルフローが不可欠であることが確認され、モデルに追加することでFDEが34.04から25.56に低下した。
• 将来の自己運動を組み込むことでさらなる性能向上が得られ、HEV-Iデータセットで最良のFDE 24.92を記録した。
• KITTIデータセットではFDEが37.11を達成し、Conv1Dベースライン（78.19）および他のベースラインを上回ったが、HEV-Iに比べて性能は低く、これはデータセットのサイズと複雑さに起因すると考えられる。
• 定性的な結果から、本モデルは曲がりくねった長距離の軌道をよりよく捉えており、遮蔽や境界効果に対してもConv1Dベースラインよりもより頑健に処理していることが示された。