[論文レビュー] An Empirical Evaluation of Deep Learning on Highway Driving

Brody Huval, Tao Wang+11 more|arXiv (Cornell University)|Apr 7, 2015

Autonomous Vehicle Technology and Safety参考文献 20被引用数 409

ひとこと要約

本論文は、車両と616,000件のレーンマークを含む17,000枚のアノテート済み画像フレームを含む大規模データセットを用いて、高速道路走行におけるディープラーニングの評価を実施している。カメラ、LiDAR、レーダー、GPSデータを用いて訓練された1ショットCNN検出器は、44 Hzのリアルタイム性能を達成し、50メートルまでの自車線検出で100%のF1スコアを達成しており、自動運転システムにおける強力な可能性を示している。

ABSTRACT

Numerous groups have applied a variety of deep learning techniques to computer vision problems in highway perception scenarios. In this paper, we presented a number of empirical evaluations of recent deep learning advances. Computer vision, combined with deep learning, has the potential to bring about a relatively inexpensive, robust solution to autonomous driving. To prepare deep learning for industry uptake and practical applications, neural networks will require large data sets that represent all possible driving environments and scenarios. We collect a large data set of highway data and apply deep learning and computer vision algorithms to problems such as car and lane detection. We show how existing convolutional neural networks (CNNs) can be used to perform lane and vehicle detection while running at frame rates required for a real-time system. Our results lend credence to the hypothesis that deep learning holds promise for autonomous driving.

研究の動機と目的

• 高速道路走行のためのリアルタイム認識タスク（レーンおよび車両検出など）におけるディープラーニングの実現可能性を評価すること。
• レーンおよび車両の正確なアノテーションを備えた、多様な高速道路走行シナリオの大規模データセットを構築すること。
• 既存の畳み込みニューラルネットワーク（CNN）が、自動運転認識タスクにおいて強固でリアルタイムの性能を達成できることを示すこと。
• 精度、再現率、および距離推定精度の観点から、ディープラーニングベースの検出と従来のレーダーベースのシステムを比較すること。
• 動画シーケンスのフレームレベルアノテーションを収集することで、将来の時系列モデリング研究を可能にすること。

提案手法

• 同期化されたカメラ、LiDAR、レーダー、GPSセンサーを用いて、車両のバウンディングボックスを含む17,000枚の画像フレームおよびレーンマークを含む616,000枚のフレームからなるデータセットを収集した。
• 1回の順伝播処理でレーンおよび車両のエンドツーエンド検出を実現する1ショット畳み込みニューラルネットワーク（CNN）を訓練した。
• 車両検出評価のマッチング基準として、交差領域比（IoU）が0.5以上を用い、アノテーションはAmazon Mechanical Turkの結果を基準とした。
• レーン検出の評価には3次元空間的閾値を用い、予測値と正例との差が0.5メートル未満の場合は真陽性と判定した。
• 距離および位置の観点から、レーダー返りを正例として用い、検出性能をContinentalの中級レーダーシステムと比較した。
• コードをGitHubに公開し、Caffeフレームワークに基づいて車両およびレーン検出器の実装を提供した。

実験結果

リサーチクエスチョン

• RQ1 事前学習および微調整されたCNNは、高速道路走行データにおいてリアルタイムかつ高精度な性能を達成できるか？
• RQ2 精度、再現率、および距離推定の観点から、ディープラーニングベースの検出と従来のレーダーベースのシステムの性能はどのように比較されるか？
• RQ3 オーバーパassing、影、天候の変化などの異なる条件下でのネットワークの一般化性能はどの程度か？
• RQ4 50メートルを超える距離における画像解像度および距離の影響は、レーン検出精度にどのように現れるか？
• RQ5 1つのCNNモデルが、リアルタイム導入に十分な速度と精度で、同時にレーンおよび車両を検出できるか？

主な発見

• 自車線境界のレーン検出システムは、50メートルまでの範囲で100%のF1スコアを達成したが、65メートルを超えると解像度の制限により性能が低下した。
• 近接物体の車両検出再現率は、オーバーパassingや影の影響による誤検出が主な要因で顕著に低下した。
• ディープラーニング検出器は、1枚のGTX 780 Tiで44 Hzで動作し、自動運転システムのリアルタイム要件を満たした。
• レーダーと比較して、ディープラーニングモデルは85.4%の再現率を達成した一方で98.5%の精度を維持し、レーダーの100%の精度を上回るF1スコアを達成した。
• 車両の距離予測における標準誤差は、距離にかかわらず一貫して低く、モデルは信頼性の高い距離推定性能を示した。
• 定性的な動画結果から、本システムは多様な高速道路状況において車両およびレーンを強固に検出できたが、訓練データが後方を向いた車両に限定されていたため、対向車両の検出には失敗した。