[論文レビュー] Deep Tracking on the Move: Learning to Track the World from a Moving Vehicle using Recurrent Neural Networks

Julie Dequaire, Dushyant Rao+3 more|arXiv (Cornell University)|Sep 29, 2016

Autonomous Vehicle Technology and Safety参考文献 14被引用数 15

ひとこと要約

本稿では、移動する車両の視点から都市環境における動的・静的物体を追跡するための、再帰的ニューラルネットワーク（RNN）と空間変換モジュールを組み合わせたエンドツーエンドのディープラーニングフレームワークを提案する。推定された自己運動を活用することで、生のレーザースキャンから遮蔽されていない占有グリッドを予測し、完全に遮蔽された物体を含む正確な物体追跡を実現。将来の状態予測および運動由来の歪みに対する耐性において、ベースライン手法を上回る性能を発揮する。

ABSTRACT

This paper presents an end-to-end approach for tracking static and dynamic objects for an autonomous vehicle driving through crowded urban environments. Unlike traditional approaches to tracking, this method is learned end-to-end, and is able to directly predict a full unoccluded occupancy grid map from raw laser input data. Inspired by the recently presented DeepTracking approach [Ondruska, 2016], we employ a recurrent neural network (RNN) to capture the temporal evolution of the state of the environment, and propose to use Spatial Transformer modules to exploit estimates of the egomotion of the vehicle. Our results demonstrate the ability to track a range of objects, including cars, buses, pedestrians, and cyclists through occlusion, from both moving and stationary platforms, using a single learned model. Experimental results demonstrate that the model can also predict the future states of objects from current inputs, with greater accuracy than previous work.

研究の動機と目的

• 移動する自律走行車両の視点から、動的かつ都市的な環境における物体を追跡するエンドツーエンドの学習フレームワークの開発。
• 手動で設計されたコンponentsに依存する従来のマルチステージ追跡パイプラインの限界を克服すること。
• 生のレーザー入力のみを用いて、将来的な位置や遮蔽中の軌道を含む物体状態の正確な予測を可能にすること。
• 空間変換モジュールを介して推定された自己運動をネットワークに統合し、車両の運動に起因する歪みに対しても追跡の耐性を高めること。
• 車両、歩行者、自転車、バスなど多様な物体を、遮蔽や時間経過を経ても正確に追跡する性能を実証すること。

提案手法

• モデルは、連続するレーザースキャンから環境の時間的変化を符号化するため、ゲート付き再帰ユニット（GRU）に基づくRNNを用いる。
• 空間変換モジュールを用いて、推定された自己運動に基づき特徴マップを変換し、特徴空間を世界座標系に整合させる。
• ネットワークはエンドツーエンドで訓練され、中間段階の検出や関連付けを経由せずに、生のレーザー入力から完全な遮蔽なしの占有グリッドを直接予測する。
• 真の車両運動の代理として、自己運動推定値を用いてセンサーと環境との相対運動を補正する。
• アーキテクチャにより、RNNの隠れ状態に物体の位置と速度の記憶が可能となり、将来的な状態予測が可能になる。
• 推論時にマスキング戦略を用い、5フレームごとに入力フレームを黒くすることで遮蔽をシミュレートし、未知の遮蔽状況への一般化能力をテストする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディープラーニングモデルは、明示的な検出やデータ関連付けを経ずに、遮蔽下でも複数の物体タイプを追跡可能か？
• RQ2 空間変換モジュールを介して推定された自己運動を統合することで、静的モデルと比較して移動プラットフォーム上での追跡精度がどの程度向上するか？
• RQ3 現在の入力のみを用いて、遮蔽の背後にいる物体を含む将来的な物体状態をどの程度正確に予測できるか？
• RQ4 実際の車両運動を想定した条件下で、多様な動的・静的物体を含む複雑な都市シーンにおいて、モデルは一般化可能か？
• RQ5 特に長期的な遮蔽下において、自己運動を無視するベースラインと比較して、モデルの性能はどの程度優れているか？

主な発見

• 空間変換モジュールを備えたモデル（STM）は、完全に遮蔽された状況下でも、ベースラインのDeepTrackingモデルに比べて将来的な物体状態予測において顕著に優れている。
• 移動する車両に遮蔽された2名の歩行者を5フレームにわたり正確に追跡している一方、ベースラインモデルはその位置を回復できていない。
• 自己運動を無視するにもかかわらず、ベースラインモデルは予想に反して高いF1スコアを達成しているが、これはデータセットの相対的に一定の車両速度と高い静的物体の含有率によるものと推測される。
• STMは、すべての将来フレームにおいてベースラインより明確にF1測定値を向上させ、自己運動統合の価値を示している。
• モデルは、車両、バス、歩行者、自転車を、複数フレームにわたり完全に隠蔽された状態でも正確に追跡できている。
• 複雑な相対運動や動的なシーン変化を伴う実世界の都市走行状況に対しても、モデルは良好な一般化性能を示している。