[論文レビュー] Aggressive Deep Driving: Model Predictive Control with a CNN Cost Model

Paul Drews, Grady Williams+3 more|arXiv (Cornell University)|Jul 17, 2017

Autonomous Vehicle Technology and Safety参考文献 22被引用数 31

ひとこと要約

本論文は、単眼カメラ画像から上方向視点のコストマップを直接予測する深層畳み込みニューラルネットワーク（CNN）を用いて、アグレッシブな自律走行のための視覚ベースのモデル予測制御（MPC）フレームワークを提案する。この手法により、GPSを用いず、高速走行が可能となり、解釈可能なリアルタイム走行可能性表現を学習することで、頑健な軌道最適化を実現し、平均ラップタイム9.74秒を達成した（GPS支援ベースラインと比較して0.39秒遅れ）。画像平面回帰法と比較してラップタイム効率が12%優れている。

ABSTRACT

We present a framework for vision-based model predictive control (MPC) for the task of aggressive, high-speed autonomous driving. Our approach uses deep convolutional neural networks to predict cost functions from input video which are directly suitable for online trajectory optimization with MPC. We demonstrate the method in a high speed autonomous driving scenario, where we use a single monocular camera and a deep convolutional neural network to predict a cost map of the track in front of the vehicle. Results are demonstrated on a 1:5 scale autonomous vehicle given the task of high speed, aggressive driving.

研究の動機と目的

• GPSや事前マップされた環境に依存せず、単眼視覚とオンボードセンサのみを用いて、アグレッシブで高速な自律走行を可能にすること。
• 視覚入力を直接走行可能性コストマップにマッピングする、リアルタイムでエンドツーエンド学習可能なシステムを構築すること。
• 上方向視点（鳥瞰図）のコストマップを直接予測する手法が、画像平面回帰よりも制御性能および耐障害性において優れているかどうかを検証すること。
• タスク固有の再トレーニングを必要とせず、人間運転データを用いた学習により、さまざまな走行タスクへの一般化を実証すること。

提案手法

• 単一の単眼画像から走行可能領域および障害物を表す上方向視点のコストマップを予測する、完全畳み込みニューラルネットワークを訓練する。
• 予測されたコストマップを直接サンプリングベースのモデル予測制御（MPPI）アルゴリズムに供給し、リアルタイムでの軌道最適化を実現する。
• コストマップの監視に自動生成されたアノテーションを備えた大規模な、人間が関与するデータセットを用いてネットワークを訓練する。
• GPSやSLAMによるローカライゼーションを避けるために、単眼カメラ画像、車両速度、慣性測定値のみを入力とする。
• 上方向視点のコストマップにより、カメラの視野外にあるトラックの幾何構造（直接見えないコーナーを含む）を予測可能となる。
• タスクに依存しない学習が可能である：人間運転データの学習により、分離可能で解釈可能なコスト表現のおかげで、さまざまな制御目的に一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 深層CNNは、GPSを用いず、アグレッシブなMPCベース走行を可能にする単眼画像から上方向視点の走行可能性コストマップを学習的に予測できるか？
• RQ2 実際の自律走行車両において、上方向視点のコストマップを直接予測する手法が、画像平面回帰法よりも制御性能および耐障害性に優れているか？
• RQ3 人間運転データを用いて学習した1つのニューラルネットワークが、さまざまな走行タスクにどの程度一般化できるか？
• RQ4 ネットワークがカメラの視野外の領域を予測できる能力（コーナーの先を予測）が、制御性能にどのように影響するか？
• RQ5 学習された解釈可能なコスト表現は、自律走行における障害診断とシステムの解釈可能性を向上させることができるか？

主な発見

• 上方向視点のCNNベースのコストマップ予測は、1:5スケールの自律走行車両で平均ラップタイム9.74秒を達成し、GPS支援システム（9.74秒）と同等の性能を示し、真値と比較してわずか0.39秒遅れにとどまった。
• 画像平面回帰ネットワークは最大で14.48秒の平均ラップタイムを記録し、上方向視点アプローチより4.74秒遅く、一般化性能の低さと見通し能力の制限が要因であった。
• 上方向視点ネットワークは真値と比較してラップタイム損失を17%に抑えたが、画像平面ネットワークは29%の損失を示し、優れた性能と耐障害性を実証した。
• 上方向視点ネットワークは、カメラの視野外の走行可能領域を正しく予測し、MPCコントローラーがコーナーを効果的に計画可能であった。
• 高速走行時（最大8 m/s）の摂動に対しても、安定した軌道を維持するという耐性を示し、車両のハンドリング限界に近づいても安定した走行を実現した。
• 障害事例は、解釈可能なコストマップのおかげで診断可能であった。例えば、右カーブを左カーブと誤分類した事例は、予測マップ上で明確に視覚的に確認できた。