[論文レビュー] DeepDriving: Learning Affordance for Direct Perception in Autonomous Driving

Chenyi Chen, Ari Seff+2 more|arXiv (Cornell University)|May 1, 2015

Autonomous Vehicle Technology and Safety参考文献 15被引用数 154

ひとこと要約

本論文では、完全なシーン解析やエンドツーエンドの行動回帰を回避して、生画像から距離やレーン位置などの重要なドライブアフォーダンスを直接推定する、深層畳み込みニューラルネットワークを用いた直接的認識フレームワーク「DeepDriving」を提案する。この手法は、KITTIデータセットにおいて距離推定で最先端の性能を達成し、y方向の平均絶対誤差が5.832mであることを示しており、実世界のドライブシーンへの強い汎化性能を示している。

ABSTRACT

Today, there are two major paradigms for vision-based autonomous driving systems: mediated perception approaches that parse an entire scene to make a driving decision, and behavior reflex approaches that directly map an input image to a driving action by a regressor. In this paper, we propose a third paradigm: a direct perception approach to estimate the affordance for driving. We propose to map an input image to a small number of key perception indicators that directly relate to the affordance of a road/traffic state for driving. Our representation provides a set of compact yet complete descriptions of the scene to enable a simple controller to drive autonomously. Falling in between the two extremes of mediated perception and behavior reflex, we argue that our direct perception representation provides the right level of abstraction. To demonstrate this, we train a deep Convolutional Neural Network using recording from 12 hours of human driving in a video game and show that our model can work well to drive a car in a very diverse set of virtual environments. We also train a model for car distance estimation on the KITTI dataset. Results show that our direct perception approach can generalize well to real driving images. Source code and data are available on our project website.

研究の動機と目的

• 自律走行における中間的認識（過剰なシーン解析）と行動反射（画像から行動への直接的マッピング）の限界を解消すること。
• 完全なシーン理解を伴わずに、重要なドライブアフォーダンスを推定する中間的パラダイム「直接的認識」を提唱すること。
• シンプルな制御を可能にしながらも、頑健性と汎化性能を維持する、コンパクトでタスク固有の表現を構築すること。
• 人間が運転する映像データを用いて深層CNNを学習させ、画像からドライブ関連の指標への直接的マッピングを学習すること。
• 合成データ（TORCS）と実世界データ（KITTI）の両方のドライブデータセットを用いて性能を評価し、実画像への汎化性能を示すこと。

提案手法

• レーシングゲーム（TORCS）から得た12時間分の人間運転映像を用いて、深層畳み込みニューラルネットワーク（CNN）を訓練し、近隣車両までの距離（x方向およびy方向）およびユークリッド距離を回帰する。
• シーンの特徴をドライブ意思決定に関連するものとしてエンコードする4,096次元の中間表現を抽出するために、全結合層を用いる。
• ニューロンの活性化パターンと応答マップを可視化し、ネットワークが学習する特徴（例：レーンマーク、車両位置、自車の進行方向）を解釈する。
• 距離推定に投影を用いるDPMベースの媒介的認識ベースラインと比較し、誤検出ペナルティを適用する・しない状況で評価する。
• KITTIデータセットに同じネットワークアーキテクチャを適用し、校正済みセンサーからの真値を用いて実世界の距離推定を実施する。
• 平均絶対誤差（MAE）を用いて性能を評価し、一部の指標では誤検出をペナルティ処理することで公平性を確保する。

実験結果

リサーチクエスチョン

• RQ1 深層CNNは、完全なシーン解析を伴わずに、生画像から重要なドライブアフォーダンス（例：近隣車両までの距離）を直接推定できるか？
• RQ2 提案された直接的認識アプローチは、KITTIデータセットのような実世界のドライブデータに汎化可能か？
• RQ3 直接的認識の性能は、オブジェクト検出と幾何的投影を用いる媒介的認識ベースラインと比べてどうか？
• RQ4 CNNが学習する特徴は、レーンマークや近隣車両といった意味のあるドライブ関連構造に対応しているか？
• RQ5 従来の投影ベース手法が失敗するような状況（部分的可視車両、不均一な地形など）に対しても、モデルは対応可能か？

主な発見

• 提案された直接的認識モデルは、KITTIデータセットにおいて、近隣車両のy座標（前方距離）を予測する際、平均絶対誤差（MAE）が5.832メートルであることを達成した。
• x座標（横方向距離）のMAEは1.565メートル、ユークリッド距離（d）のMAEは6.299メートルであり、実世界データにおいて優れた性能を示している。
• 誤検出がペナルティ処理されない場合、モデルの誤差は顕著に低下する（例：dの誤差が4.669メートルに低下）、これはDPMベースのベースラインよりも真陽性の推定が正確であることを示している。
• ニューロン活性化の可視化により、レーンマーク、車両位置、自車の進行方向と強い相関が確認され、ネットワークがタスク固有の特徴を学習していることが裏付けられた。
• 4番目の畳み込み層からの応答マップは、近隣車両およびレーンマークの領域で強く活性化しており、ネットワークがアフォーダンス推定に必要な領域に注目していることが示された。
• 合成映像で学習したにもかかわらず、実世界の画像への汎化性能が高く、特に誤検出を除外した状況ではDPMベースの投影手法を上回った。