[論文レビュー] Deep Steering: Learning End-to-End Driving Model from Spatial and Temporal Visual Cues

Lu Chi, Yadong Mu|arXiv (Cornell University)|Aug 12, 2017

Autonomous Vehicle Technology and Safety参考文献 2被引用数 88

ひとこと要約

この論文は、時空の手がかりを空間的および時間的畳み込みとConv-LSTMを用いて統合し、実人間の運転データで訓練されたエンドツーエンドのビジョンベースのハンドル操作モデルを提示し、解釈可能性のための可視化を提供する。

ABSTRACT

In recent years, autonomous driving algorithms using low-cost vehicle-mounted cameras have attracted increasing endeavors from both academia and industry. There are multiple fronts to these endeavors, including object detection on roads, 3-D reconstruction etc., but in this work we focus on a vision-based model that directly maps raw input images to steering angles using deep networks. This represents a nascent research topic in computer vision. The technical contributions of this work are three-fold. First, the model is learned and evaluated on real human driving videos that are time-synchronized with other vehicle sensors. This differs from many prior models trained from synthetic data in racing games. Second, state-of-the-art models, such as PilotNet, mostly predict the wheel angles independently on each video frame, which contradicts common understanding of driving as a stateful process. Instead, our proposed model strikes a combination of spatial and temporal cues, jointly investigating instantaneous monocular camera observations and vehicle's historical states. This is in practice accomplished by inserting carefully-designed recurrent units (e.g., LSTM and Conv-LSTM) at proper network layers. Third, to facilitate the interpretability of the learned model, we utilize a visual back-propagation scheme for discovering and visualizing image regions crucially influencing the final steering prediction. Our experimental study is based on about 6 hours of human driving data provided by Udacity. Comprehensive quantitative evaluations demonstrate the effectiveness and robustness of our model, even under scenarios like drastic lighting changes and abrupt turning. The comparison with other state-of-the-art models clearly reveals its superior performance in predicting the due wheel angle for a self-driving car.

研究の動機と目的

• 合成データではなく、実データの人間の運転ログで訓練されたビジョンベースの自動操舵モデルの学習を動機づける。
• 複数のネットワーク層で再帰ユニットを用いて操舵の時間的依存性を組み込む。
• 時空畳込みとマルチスケール残差集約を介して空間-時間情報を捉える特徴抽出サブネットワークを開発する。
• 滑らかで正確な車輪角度予測を生む時間的融合を伴う操舵予測サブネットワークを統合する。
• 視覚的バックプロパゲーションを通じて解釈性を提供し、操舵決定に影響する画像領域を特定する。

提案手法

• Spatio-Temporal Convolution (ST-Conv) とマルチスケール残差集約を備えた特徴抽出サブネットワークを用いて 128 次元の特徴を生成する。
• ConvLSTM を組み込み、フレーム間の時間的ダイナミクスをモデル化しつつ空間構造を保持する。
• 抽出された特徴とともに、過去の速度、トルク、車輪角度を統合する LSTM を含む3回の再帰を備えた操舵予測サブネットワークを適用する。
• 訓練は操舵、速度、トルクの損失を組み合わせたマルチタスク目的で行い、操舵の重みをより大きく設定する（γ=10）。
• 車輪角度を標準化し、ミラーリングによるデータ拡張を用いて一般化を向上させる。
• GPS、速度、トルク、車輪角度の注釈が同期した実データ（Udacityの運転データ）で訓練・評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚ベースのモデルは、現実の時刻同期された運転データから正確な連続的な操舵角度を学習できるか？
• RQ2 複数のネットワーク層で時間情報を取り入れることは、フレームごとのアプローチと比較して操舵予測の精度を改善するか？
• RQ3 ST-Conv と ConvLSTM は操舵の空間-時間的手がかりの捕捉にどのように寄与するか？
• RQ4 データ拡張（ミラーリング）とキーフレーム削減はモデルの性能と一般化に影響するか？
• RQ5 どの可視化技術が、操舵決定に影響を与える画像領域を明らかにするか？

主な発見

• 提案された Deep Steering モデルは、Udacity の運転データセット上で、検証されたアーキテクチャの中で最も低い RMSE（0.0637）を達成する。
• ST-Conv、ConvLSTM、および多層再帰を介して時間情報を組み込むと、PilotNet や VGG-16 のようなフレーム専用モデルよりも滑らかで正確な操舵が得られる。
• ミラーリングによるデータ拡張はフェーズを問わず RMSE を改善し、一般化の利点を確認した。
• 操舵、速度、トルクの損失を含むマルチタスク目的は操舵性能を向上させ、操舵の重みをより大きく設定（γ=10）している。
• 視覚的バックプロパゲーションは、操舵決定に影響する画像領域の解釈可能な局在化を可能にする。