[논문 리뷰] Learning a Driving Simulator

Eder Santana, George Hotz|arXiv (Cornell University)|2016. 08. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 183

한 줄 요약

이 논문은 GAN 기반 비용으로 가이드된 변분 자동인코더(VAE)를 사용해 도로 프레임을 가우시안 잠재 공간에 임베딩하여 운전 시뮬레이션을 학습하고, 그 후 액션-조건 RNN으로 전이를 모델링하여 엔드-투-엔드 픽셀 공간 최적화 없이 미래 프레임을 예측한다.

ABSTRACT

Comma.ai's approach to Artificial Intelligence for self-driving cars is based on an agent that learns to clone driver behaviors and plans maneuvers by simulating future events in the road. This paper illustrates one of our research approaches for driving simulation. One where we learn to simulate. Here we investigate variational autoencoders with classical and learned cost functions using generative adversarial networks for embedding road frames. Afterwards, we learn a transition model in the embedded space using action conditioned Recurrent Neural Networks. We show that our approach can keep predicting realistic looking video for several frames despite the transition model being optimized without a cost function in the pixel space.

연구 동기 및 목표

• 핵심 시각 기반 자율주행 접근법을 손으로 설계된 시뮬레이터가 아니라 학습된 비디오 예측에 의존하도록 동기부여한다.
• tractable dynamics 예측을 위한 도로 비디오 프레임의 компакт한 잠재 표현을 개발한다.
• 학습된 전이 모델이 잠재 공간에서 높은 밀도 영역 내에 머무르면서 현실적인 미래 프레임을 예측할 수 있음을 입증한다.
• 학습된 주행 시뮬레이터에 대한 재현성을 높이기 위한 주행 데이터셋과 코드를 공개한다.

제안 방법

• VAE/GAN 하이브리드 자동인코더를 사용하여 도로 프레임을 가우시안 잠재 공간에 임베드하고, 크기가 2048인 컴팩트한 표현 z_t를 생성한다.
• 전이를 액션-조건 RNN으로 학습하여 z_t와 제어값 S_t, A_t로부터 z_{t+1}를 예측한다.
• 예측된 잠재 코드를 GAN 기반 생성기로 디코딩하여 미래 프레임을 렌더링한다.
• 전이 모델 학습을 위해 시퀀스의 앞부분은 테이처 포싱(teacher forcing)을 사용하고, 이후 프레임은 환상(피드백)으로 처리하여 학습한다.
• KL 발산, 판별기 기반 특징 매칭, 그리고 Larsen et al. 2015의 GAN 손실을 포함한 결합 손실로 오토인코더를 최적화한다.

실험 결과

연구 질문

• RQ1 학습된 잠재 공간이 비디오 예측을 위한 실제 운전 장면의 본질적 구조를 포착할 수 있는가?
• RQ2 잠재 공간의 전이 모델이 차량 제어에 조건화된 현실적인 미래 프레임을 생성할 수 있는가?
• RQ3 VAE와 GAN 목표를 결합하는 것이 픽셀 공간 MSE 학습과 비교해 시각적으로 그럴듯한 프레임을 만들어내는가?
• RQ4 학습된 주행 시뮬레이터가 미래로 얼마나 멀리까지 현실적인 도로 장면을 예측할 수 있는가?
• RQ5 학습된 주행 시뮬레이터를 재현 및 추가 연구를 가능하게 하는 데이터셋과 코드는 무엇인가?

주요 결과

• GAN 기반 비용을 가진 자동인코더가 MSE 기반 재구성보다 더 현실적인 도로 질감을 만들어낸다.
• 전이 모델은 도로 구조를 유지하고 약 100 프레임까지의 시퀀스를 합리적으로 생성할 수 있으며, 추월 차선 및 앞차 변경과 같은 이벤트를 포함한다.
• 曲선 구간에서 종종 곡선을 따라가려는 경향이 있어 곡선에서의 효과적인 시퀀스 모델 및 맥락 융합에 개선 여지가 있음을 시사한다.
• 다양한 시드로 샘플링하면 다양한 운전 이벤트가 나타나 잠재 공간에서 의미 있는 역학을 학습하고 있음을 시사한다.
• 압축된 잠재 표현(2048 차원)은 잠재 우선 분포의 높은 밀도 영역 내에서 잠재 공간에서의 예측 가능성을 유지하면서 확장 가능한 예측을 가능하게 한다.