[論文レビュー] Learning a Driving Simulator

Eder Santana, George Hotz|arXiv (Cornell University)|Aug 3, 2016

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 183

ひとこと要約

本論文は、道路フレームをGANベースのコストで導く変分オートエンコーダを用いてガウス潜在空間に埋め込み、運動情報条件付きRNNで遷移をモデル化して将来のフレームを予測し、エンドツーエンドのピクセル空間最適化を必要としません。

ABSTRACT

Comma.ai's approach to Artificial Intelligence for self-driving cars is based on an agent that learns to clone driver behaviors and plans maneuvers by simulating future events in the road. This paper illustrates one of our research approaches for driving simulation. One where we learn to simulate. Here we investigate variational autoencoders with classical and learned cost functions using generative adversarial networks for embedding road frames. Afterwards, we learn a transition model in the embedded space using action conditioned Recurrent Neural Networks. We show that our approach can keep predicting realistic looking video for several frames despite the transition model being optimized without a cost function in the pixel space.

研究の動機と目的

• 手作りのシミュレータに頼るのではなく、学習された動画予測に基づくビジョンベースの自動運転アプローチを動機づける。
• ダイナミクス予測を扱いやすくするため、道路ビデオフレームのコンパクトな潜在表現を開発する。
• 学習済みの遷移モデルが、潜在空間内の高密度領域にとどまりつつ、現実的な将来フレームを予測できることを示す。
• 学習型ドライビングシミュレーションのさらなる研究を促進するため、運転データセットとコードを公開する。

提案手法

• VAE/GANハイブリッドオートエンコーダを用いて道路フレームをガウス潜在空間に埋め込み、サイズ2048のコンパクト表現z_tを生成する。
• z_tと制御系S_t, A_tからz_{t+1}を予測するよう、アクション条件付きRNNとして遷移モデルを訓練する。
• GANベースのジェネレータで予測潜在コードをデコードし、将来のフレームをレンダリングする。
• シーケンスの前半には教師強制を、後半にはハルシネーション（フィードバック）を用いて遷移モデルを訓練する。
• Larsen et al. 2015にあるように、KL発散、判別器ベースの特徴量整合、及びGAN損失を組み合わせた損失でオートエンコーダを最適化する。

実験結果

リサーチクエスチョン

• RQ1 学習された潜在空間は、ビデオ予測のために実車ドライビングシーンの本質的な構造を捉えることができるか？
• RQ2 潜在空間の遷移モデルは、車両制御に条件づけられた現実的な将来フレームを生成できるか？
• RQ3 VAEとGANの目的関数を組み合わせることは、ピクセル空間のMSE訓練と比較して視覚的に妥当なフレームを生み出すか？
• RQ4 学習型ドライビングシミュレータは将来どれだけ遠くまで現実的な道路シーンを予測できるか？
• RQ5 再現性とさらなる研究を促進するために、どのデータセットとコードが公開されるか？

主な発見

• GANベースのコストを用いたオートエンコーダは、MSEベースの再構成よりも現実的な道路質感を生み出す。
• 遷移モデルは道路構造を保ち、パスする車線や先行車両の変化などのイベントを含む約100フレーム程度の現実的な系列を生成できる。
• 曲線に弱く、曲がり角で車線を直線化しがちな傾向があり、より高度なシーケンスモデルとコンテキスト融合の余地を示している。
• 異なるシードでのサンプリングは多様な運転イベントを生み出し、潜在空間に意味あるダイナミクスを学習していることを示している。
• コンパクトな潜在表現（2048次元）を達成し、潜在先行分布の高密度領域内にとどまったまま、潜在空間でのスケーラブルな予測を可能にする。