[論文レビュー] SAD-GAN: Synthetic Autonomous Driving using Generative Adversarial Networks

Arna Ghosh, Biswarup Bhattacharya+1 more|arXiv (Cornell University)|Nov 27, 2016

Generative Adversarial Networks and Image Synthesis被引用数 13

ひとこと要約

本論文では、Road Rashの実戦データを用いて訓練されたDCGANアーキテクチャを採用した生成的対抗ネットワークフレームワーク、SAD-GANを提案する。現在の画像とキーボード入力を入力として、将来のドライブシーンを合成する。行動を「安全」または「危険」と分類する際、90%の正確性を達成しており、模擬データを用いた自己習得および強化学習の原則に基づく自動運転ポリシー学習の可能性を示している。

ABSTRACT

Autonomous driving is one of the most recent topics of interest which is aimed at replicating human driving behavior keeping in mind the safety issues. We approach the problem of learning synthetic driving using generative neural networks. The main idea is to make a controller trainer network using images plus key press data to mimic human learning. We used the architecture of a stable GAN to make predictions between driving scenes using key presses. We train our model on one video game (Road Rash) and tested the accuracy and compared it by running the model on other maps in Road Rash to determine the extent of learning.

研究の動機と目的

• 現在の視覚的入力と制御操作から将来のドライブシーンを予測する生成モデルの開発。
• ビデオゲームからの模擬データを用いてエンドツーエンドのドライブポリシーネットワークを訓練する方法の探求。
• 車両の安全性を最優先とする強化学習フレームワークを用いて、安全な行動予測を可能にする。
• 訓練済みの生成器が異なるゲーム環境間でどのように一般化できるかを実証する。

提案手法

• 現在の画像とキーボード入力を入力として、次のドライブフレームを予測する生成器を備えた深層畳み込みGAN（DCGAN）を訓練。
• 畳み込み層とleaky ReLUを用いた識別ネットワークを採用し、実フレームと生成フレームを区別することで、学習の安定性を向上。
• 識別器にバッチ正規化を適用し、学習の安定化と入力の平均が0、分散が1になるように正規化。
• 予測された将来のフレームに基づいて行動を「安全」または「危険」と分類するための別個の畳み込みニューラルネットワーク（AlexNetに基づく）を採用。
• すべてのネットワークの最適化に、モーメンタム（0.9）を用いた確率的勾配降下法とバッチ学習を採用。
• 報酬関数を明示的に定義せず、ゲームツリーを安全に進む最大のレベル数として暗黙的に定義し、速度や順位よりも安全性を優先する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、1枚の画像とキーボード入力から、現実的で未来のドライブシーンを効果的に生成できるか？
• RQ2 模擬ゲームプレイデータで訓練されたモデルは、未確認のゲームマップや環境へどの程度一般化できるか？
• RQ3 明示的な報酬設計なしに、暗黙の強化学習戦略が安全なドライブ行動を学習するのにどの程度有効か？
• RQ4 生成器ネットワークは、自動運転における意思決定のための複数の将来状態をシミュレートできるか？
• RQ5 1つのゲーム環境で訓練したモデルの性能は、さまざまなドライブシナリオにわたって一般化するか？

主な発見

• 安全／危険分類ネットワークは、25エポックの訓練後、クラスあたり200枚の画像を用いて90%の正確性を達成した。
• Road Rashから収集したデータセットを用いた訓練プロセスは、約1時間で完了した。
• モデルは、1つの入力画像とキーボード入力の組み合わせから、3つの異なる将来フレーム（左、右、上）を正常に生成した。
• 識別器は、実フレームと生成フレームを効果的に区別しており、GANの安定した学習が実現していることを示している。
• 安全なゲームツリーの進行に基づく暗黙の報酬機構により、安全性を最優先とする行動が学習され、人間の意思決定を模倣した。
• 生成器が初期訓練後に新しい環境に応用可能であるため、転移学習の可能性が示された。