[論文レビュー] Towards End-to-End Deep Learning for Autonomous Racing: On Data Collection and a Unified Architecture for Steering and Throttle Prediction

Shakti N. Wadekar, Benjamin J. Schwartz+6 more|arXiv (Cornell University)|May 4, 2021

Autonomous Vehicle Technology and Safety参考文献 17被引用数 11

ひとこと要約

本論文は、再帰的接続やフィードバックを用いず、統一された畳み込みニューラルネットワークアーキテクチャを用いてステアリングとスロットルを同時に予測するエンドツーエンドのディーブラーニングフレームワークを提案する。実験では、事前学習済みのステアリング畳み込み特徴量を凍結し、スロットル予測のための最終全結合層のみを微調整することで、安定した高速走行が可能であることが示された。これにより、模倣学習とデータ拡張を用いて、急カーブを含むコースで90 mphの走行を達成した。

ABSTRACT

Deep Neural Networks (DNNs) which are trained end-to-end have been successfully applied to solve complex problems that we have not been able to solve in past decades. Autonomous driving is one of the most complex problems which is yet to be completely solved and autonomous racing adds more complexity and exciting challenges to this problem. Towards the challenge of applying end-to-end learning to autonomous racing, this paper shows results on two aspects: (1) Analyzing the relationship between the driving data used for training and the maximum speed at which the DNN can be successfully applied for predicting steering angle, (2) Neural network architecture and training methodology for learning steering and throttle without any feedback or recurrent connections.

研究の動機と目的

• エンドツーエンドのディープラーニングにおける高速自律走行のためのデータ収集戦略を調査し、訓練データ量と達成可能な最大速度の関係に注目する。
• 再帰ユニット（例：LSTMなど）やフィードバックループを用いず、ステアリングとスロットルを同時に予測する統一されたディープニューラルネットワークアーキテクチャを開発する。
• ステアリング予測に学習された畳み込み特徴量を再利用することで、再トレーニングと計算コストを最小限に抑えた効率的な共同学習を可能にする。
• リアルタイム推論条件下で、高曲率のコースや標準のシミュレータートラックを含む多様なコースレイアウトにおいて、提案手法の妥当性を検証する。
• 将来的なエンドツーエンドモデルのスケーラブルな自律走行システムへの展開を支えるデータ中心の基盤を確立する。

提案手法

• 3台の前方カメラを備えたカスタムのUnityベースのシミュレータを用い、トレーニングラップ中に10 Hzで画像、ステアリング、スロットル、速度のデータを収集した。
• エキスパートフィードバックを組み合わせた直接的政策学習（行動クラーニングとデータ集約を統合した形の模倣学習）を用い、反復的に政策性能を向上させた。
• 低遅延推論を実現するため、固定で簡素化されたアーキテクチャを採用し、NVIDIAのエンドツーエンド自己走行アーキテクチャを模倣したベースの畳み込みニューラルネットワークをステアリング予測にトレーニングした。
• スロットル予測のため、トレーニング済みのステアリングモデルの畳み込み層を凍結し、以降の全結合層のみを微調整することで、バックボーンの再トレーニングなしに特徴量転送を実現した。
• 共通の畳み込み層をバックボーンとして使用する単一の統一アーキテクチャに2つのモデルを統合し、ステアリングとスロットル予測のための別々のヘッドを設けた。
• データ拡張と反復的エキスパート補正を用いて、異なるコース形状や速度領域における汎化性と耐障害性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 収集されたトレーニングデータ量（ラップ数で測定）とエンドツーエンドのディープラーニングによる自律走行で達成可能な最大安定速度の間には、どのような相関関係があるか？
• RQ2 再帰的接続やフィードバック機構を用いず、統一されたディープニューラルネットワークアーキテクチャがステアリングとスロットルを同時に予測できるか？
• RQ3 ステアリングモデルから事前学習された畳み込み特徴量を、最小限の追加トレーニングでスロットル予測タスクに効果的に転送できるか、その程度はどの程度か？
• RQ4 高曲率のカーブを含むコースにおいて、標準的または直線的なコースと比較して、モデルの性能は高時速条件下でどのように変化するか？
• RQ5 シミュレートされたレーシング環境で、安定的かつ高速な自律走行制御を実現するために、最も効果的なデータ収集戦略は何か？

主な発見

• 急カーブを含むTrack 2では、コーナーでスロットルを減速させ、ストレートでは加速することで、最大90 mphの走行が成功した。これは高速走行の安定性を示している。
• Track 2およびデフォルトのLake Trackの両方で複数ラップにわたり安定した性能を維持したため、異なるコース形状への汎化性が確認された。
• 訓練データ量（ラップ数）と達成可能な最大速度の関係が実証的に検証され、データ量の増加が高速走行能力の向上に寄与することが示された。
• ステアリングモデルの畳み込み層を凍結し、スロットル予測のための全結合層のみを微調整することで、追加トレーニング時間は最小限に抑えられながらも高い性能が得られた。
• 再帰的構造やフィードバックを一切用いず、統一アーキテクチャがステアリングとスロットルの共同予測を達成した。これは、この設定において、これらの要素が高速走行制御に必須ではないことを裏付けた。
• 動画デモにより、モデルが複雑なコースを自律走行可能であり、リアルタイム推論と滑らかな制御遷移が実現していることが確認された。