[論文レビュー] Learning a CNN-based End-to-End Controller for a Formula SAE Racecar

Skanda Koppula|arXiv (Cornell University)|Jul 12, 2017

Autonomous Vehicle Technology and Safety参考文献 3被引用数 6

ひとこと要約

本論文では、カメラ入力に基づくCNNベースのエンドツーエンド制御アルゴリズムを、フォーミュラ・サーキットレーシングカーに適用し、リアルタイムでステアリング、ブレーキ、アクセル操作を予測する。離散化されたステアリング分類において95.5％の検証精度を達成し、リアルタイム制御に適した低遅延推論を実現。連続値ステアリング予測においても初期の成功が得られ、ブレーキ／アクセル予測のための提案アーキテクチャも提示されている。

ABSTRACT

We present a set of CNN-based end-to-end models for controls of a Formula SAE racecar, along with various benchmarking and visualization tools to understand model performance. We tackled three main problems in the context of cone-delineated racetrack driving: (1) discretized steering, which translates a first-person frame along to the track to a predicted steering direction. (2) real-value steering, which translates a frame view to a real-value steering angle, and (3) a network design for predicting brake and throttle. We demonstrate high accuracy on our discretization task, low theoretical testing errors with our model for real-value steering, and a starting point for future work regarding a controller for our vehicle's brake and throttle. Timing benchmarks suggests that the networks we propose have the latency and throughput required for real-time controllers, when run on GPU-enabled hardware.

研究の動機と目的

• コーンで区画されたレーシングトラック上をフォーミュラ・サーキットレーシングカーが自律走行するための、CNNベースのエンドツーエンド制御アルゴリズムの開発。
• 限られた訓練データの課題に対処するため、データ拡張と頑健なモデル設計を用いて、誤差の累積を防ぐ。
• GPUハードウェア上でリアルタイム制御に適した低遅延推論を達成する。
• 制御アルゴリズムを連続ステアリング角の予測に拡張し、ブレーキ／アクセル制御のためのフレームワークを構築する。
• 同期化された動画と走行状態データを用いてモデルの性能を検証し、誤差分析のための可視化シミュレーションを実施。

提案手法

• 400mのコーントラックを3名のドライバーが走行した結果、12,097フレームの同期された画像と走行状態データ（ステアリング、ブレーキ、アクセル、モータースピード）を収集。
• 次元削減とメモリ使用量の削減を目的に、動画フレームを256×256にクロップ・リサイズし、データを60％学習、20％検証、20％テストに分割。
• バッチ正規化とReLU活性化関数を用いて、離散化ステアリング分類（左／真ん中／右）のための複数のCNNアーキテクチャ（1CL-1FC～3CL-2FC）を訓練。
• L1損失を用いた回帰ヘッドを追加して連続値ステアリング角を予測するモデルに拡張。また、動画入力とモータースピード入力を組み合わせたマルチインプットDAGアーキテクチャを設計し、ブレーキ／アクセル予測を実現。
• 画像変換ベースのデータ拡張を適用し、オフセンター走行のシミュレーションを実施。これにより、視点のずれに対する耐性が向上。
• GPUクラスタ上でTorchを用いて学習を実行。予測された操作とトラック形状の整合性を検証するための可視化シミュレーションツールを活用。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのエンドツーエンド制御アルゴリズムは、限られた実世界の走行データと視覚入力のみで、フォーミュラ・サーキットレーシングカーのステアリングを学習できるか？
• RQ2 離散化ステアリング予測と連続値ステアリング予測の間で、モデルの性能はどのように変化するか。精度と遅延のトレードオフは何か？
• RQ3 画像変換を用いたデータ拡張は、オフセンター走行シナリオにおける一般化性能を向上させ、誤差の累積を低減できるか？
• RQ4 視覚的入力と運動状態入力を組み合わせたブレーキ／アクセル予測を効果的に行うためのアーキテクチャ的設計は何か？
• RQ5 制御アルゴリズムは、埋め込み型GPUハードウェア上でリアルタイム実装に十分な低遅延推論を達成できるか？

主な発見

• 離散化ステアリングモデルは95.5％の検証精度を達成し、小規模データセット上でのエンドツーエンド学習の可能性を示した。
• 連続値ステアリングモデルは平均L1検証損失が1.4に留まり、連続ステアリング角の高精度予測を実現した。
• 画像変換を用いたデータ拡張により、混合テストセットにおける検証損失が18.1から7.4に低下し、オフセンター走行に対する耐性が向上したことが示唆された。
• 提案されたブレーキ／アクセル制御アーキテクチャは、動画入力とモータースピード入力をもつマルチパrentDAGを採用。スケーリングされたシグモイド出力を用いて、同時予測を実現。
• タイミングベンチマークの結果、提案されたモデルは低遅延のパススルー遅延を達成しており、GPUハードウェア上でのリアルタイムデプロイメントに適していることが確認された。
• 可視化シミュレーションの結果、フレーム単位のステアリング予測のみでは不安定な挙動が生じることが判明。誤差の累積を防ぐため、再帰的または確率的アプローチの導入が不可欠であることが示された。