[論文レビュー] Beyond Grand Theft Auto V for Training, Testing and Enhancing Deep Learning in Self Driving Cars

Mark Martinez, Chawin Sitawarin+4 more|arXiv (Cornell University)|Dec 4, 2017

Autonomous Vehicle Technology and Safety参考文献 14被引用数 59

ひとこと要約

この論文はGTA-Vを用いてラベル付きのアフォーダンスデータを収集し、 highway driving の変数のCNNを訓練します。さらにUnityベースの Princeton Virtual Environment (PVE) を導入してコーナーケース検証とモデル改善を行い、訓練結果を報告し、制限と今後の方向性を議論します。

ABSTRACT

As an initial assessment, over 480,000 labeled virtual images of normal highway driving were readily generated in Grand Theft Auto V's virtual environment. Using these images, a CNN was trained to detect following distance to cars/objects ahead, lane markings, and driving angle (angular heading relative to lane centerline): all variables necessary for basic autonomous driving. Encouraging results were obtained when tested on over 50,000 labeled virtual images from substantially different GTA-V driving environments. This initial assessment begins to define both the range and scope of the labeled images needed for training as well as the range and scope of labeled images needed for testing the definition of boundaries and limitations of trained networks. It is the efficacy and flexibility of a "GTA-V"-like virtual environment that is expected to provide an efficient well-defined foundation for the training and testing of Convolutional Neural Networks for safe driving. Additionally, described is the Princeton Virtual Environment (PVE) for the training, testing and enhancement of safe driving AI, which is being developed using the video-game engine Unity. PVE is being developed to recreate rare but critical corner cases that can be used in re-training and enhancing machine learning models and understanding the limitations of current self driving models. The Florida Tesla crash is being used as an initial reference.

研究の動機と目的

• GTA-Vが大規模でラベル付きデータセットを生成し、運転アフォーダンス推定のCNNを訓練できることを示す。
• 高速道路走行の直接知覚で使える8つのアフォーダンス変数のセットを特定する。
• 仮想データの自動運転モデルに対する境界・限界を分析し、初期のCNN訓練結果を示す。
• 訓練と評価のための希少なコーナーケースを再現するUnityベースの仮想環境（PVE）を提案する。

提案手法

• 8つの連続アフォーダンス出力の回帰を行うようAlexNetに触発されたCNNを適用する（角度、car_L、car_M、car_R、lane_LL、lane_L、lane_R、lane_RR）。
• ネットワークを8つの実数ニューロンを出力するよう変更し、tanh活性化と平均二乗誤差損失を用いる。
• Rage Plugin Hook経由で真のアフォーダンスを持つ約483,000枚のGTA-V画像を収集し、訓練に350,000枚、テスト/検証に133,000枚を使用。
• 入力を平均 subtraction で前処理し、アクティブ/インアクティブアフォーダンスを[-0.9,0.9]に再スケールしてネットワーク出力範囲を反映させ、インアクティブなアフォーダンスを範囲外として扱う。
• 21エポック（約36時間）をTesla K40上でバッチサイズ32で訓練。アフォーダンスごとの検証損失を報告。
• Mapzen由来データを用いたUnityベースのパイプラインを記述し、制御可能な合成運転シナリオとコーナーケースを生成して再訓練を行う。

実験結果

リサーチクエスチョン

• RQ1 GTA-Vを用いて高速道路運転のCNNベース直接認識モデルの訓練に十分なラベル付きデータを生成できるか。
• RQ2 画像データから自動運転の直接知覚に有用な8つのアフォーダンス変数は何か。
• RQ3 GTA-VのテストデータでCNN推定アフォーダンス（角度と距離）は真値とどのように比較されるか、主要な誤差源は何か。
• RQ4 Unityベース環境（PVE）は訓練を強化しモデルの限界理解を深めるコーナーケースを再現できるか。
• RQ5 仮想データと実世界の運転システムを結ぶ際の実用的な限界と今後の方向性は。

主な発見

• CNNは8つのアフォーダンスに対して、サンプルあたりの最終訓練損失を0.151、検証損失を0.314達成。
• 角度と車線距離の推定が最も低い検証損失を示す一方、車距離推定は高く、車線関連変数で過剰適合の兆候を示した。
• 車線距離推定は車距離推定よりも精度が高かった；car_Mの誤差は隣接する左/右車線に車がいる場合や距離が大きいと大きくなった。
• 約483,000枚の画像を用いたGTA-V訓練は、仮想データを自動運転アフォーダンスの訓練・評価に用いる現実性を示した。
• Unityベースの環境（PVE）はGTA-Vでは容易に得られないコーナーケース（例：歩行者横断、Tesla事故シナリオ）を制御して作成でき、モデルの再訓練と強化を支援する。
• 著者らはGTA-Vの制約（法的、拡張性、リアリズム）を認識し、実データと仮想データの組み合わせおよび時系列モデル（例：3D CNN、LSTM）の探索を提案する。