[論文レビュー] A Systematic Comparison of Deep Learning Architectures in an Autonomous Vehicle

Michael Teti, William Edward Hahn+3 more|arXiv (Cornell University)|Mar 26, 2018

Advanced Neural Network Applications参考文献 43被引用数 3

ひとこと要約

本研究では、低価格の屋内リモコン制御車両を用いたエンドツーエンドの自動運転タスクにおいて、全結合ネットワークからResNetおよびLSTMに至る7種類のディープラーニングアーキテクチャの、初めての体系的比較を実施した。カラー画像フレームで学習した場合、AlexNetが最も高い性能を示し（第1フェーズで100％の成功率、第2フェーズで55％）、一方VGG-16は入力タイプにかかわらず最も一貫した性能を示した。これは、検証精度と実世界の走行性能の間に顕著な「デプロイメントギャップ」が存在することを示している。

ABSTRACT

Self-driving technology is advancing rapidly --- albeit with significant challenges and limitations. This progress is largely due to recent developments in deep learning algorithms. To date, however, there has been no systematic comparison of how different deep learning architectures perform at such tasks, or an attempt to determine a correlation between classification performance and performance in an actual vehicle, a potentially critical factor in developing self-driving systems. Here, we introduce the first controlled comparison of multiple deep-learning architectures in an end-to-end autonomous driving task across multiple testing conditions. We compared performance, under identical driving conditions, across seven architectures including a fully-connected network, a simple 2 layer CNN, AlexNet, VGG-16, Inception-V3, ResNet, and an LSTM by assessing the number of laps each model was able to successfully complete without crashing while traversing an indoor racetrack. We compared performance across models when the conditions exactly matched those in training as well as when the local environment and track were configured differently and objects that were not included in the training dataset were placed on the track in various positions. In addition, we considered performance using several different data types for training and testing including single grayscale and color frames, and multiple grayscale frames stacked together in sequence. With the exception of a fully-connected network, all models performed reasonably well (around or above 80\%) and most very well (~95\%) on at least one input type but with considerable variation across models and inputs. Overall, AlexNet, operating on single color frames as input, achieved the best level of performance (100\% success rate in phase one and 55\% in phase two) while VGG-16 performed well most consistently across image types.

研究の動機と目的

• 実世界の自動運転タスクにおいて、複数のディープラーニングアーキテクチャを制御的・体系的に比較すること。
• 単一のフレーム、フレームスタック、グレースケール、カラーなど、異なる入力タイプにおいて、同一条件下でのモデル性能を評価すること。
• 埋め込みシステムにおけるモデルの検証性能と実際の走行性能の乖離を調査すること。
• エンドツーエンドの自動制御における実世界への一般化に影響を与えるアーキテクチャ的および学習的要因を特定すること。
• 自動運転システムにおける「デプロイメントギャップ」を検出および軽減する手法を検討すること。

提案手法

• リアルタイム推論を実行可能なGPU搭載コンピュータを搭載した低価格の市販品リモコン制御車両を用いた。
• センサ入力と人間のステアリング操作のペアを用いて、全結合、2層畳み込みニューラルネットワーク（CNN）、AlexNet、VGG-16、Inception-V3、ResNet-26、LSTMの7つのディープラーニングモデルを学習した。
• 2段階のテストフェーズでモデルを評価した：(1) 同じ訓練・テスト条件、(2) 未知の障害物や環境変化を含む条件。
• 複数の入力モダリティを採用：単一のグレースケールおよびカラー画像フレーム、グレースケールフレームのスタック。
• 画像の特徴がモデルの意思決定にどの程度影響を与えたかを特定するため、新しいピクセル反転法を用いてサリエンシーヒートマップを生成した。
• モデル間の走行経路の整合性と類似度を分析し、行動の一般化性およびバイアスを評価した。

実験結果

リサーチクエスチョン

• RQ1 異なるディープラーニングアーキテクチャは、制御的・同一条件下での実世界の自動運転タスクにおいて、どのように性能を発揮するか？
• RQ2 検証性能は、埋め込み制御システムにおける実際の走行成功度とどの程度相関するか？
• RQ3 入力タイプの違い（グレースケール対カラー、単一フレーム対フレームスタック）は、モデルの性能および一般化性にどのように影響するか？
• RQ4 どのアーキテクチャ的または学習的特徴が、一貫性のある走行行動および未知の障害物に対する耐性に寄与するか？
• RQ5 サリエンシーヒートマップと経路類似度指標は、『デプロイメントギャップ』に陥りやすいモデルを特定するのに役立つか？

主な発見

• AlexNetは、単一のカラー画像フレーム入力で学習した場合、第1フェーズで100％のラップ完了、第2フェーズで55％のラップ完了を達成し、最も高い性能を示した。
• VGG-16は、すべての入力タイプにおいて最も一貫した性能を示し、多様なテスト条件下で大多数のモデルを上回った。
• 顕著な「デプロイメントギャップ」が観察された：検証性能が高かったモデル（例：ResNet-26）は、一般化能力の低さと行動の一貫性の欠如により、実世界の走行で失敗した。
• ResNet-26は高い経路変動性と強い行動バイアスを示し、未知の障害物や環境変化に直面した際に適応できなかった。
• LSTMモデルは、カラー入力よりもグレースケール入力でより良好に動作した。これは、カラー画像フレームでは1秒間に18回の推論しか処理できず、必要な30FPSに満たない計算ボトルネックに起因する。
• モデル間の経路類似度と成功度の類似度には強く相関がなかったため、行動の一貫性が走行成功の予測因子として信頼できるものではないことが示された。