[논문 리뷰] SAD-GAN: Synthetic Autonomous Driving using Generative Adversarial Networks

Arna Ghosh, Biswarup Bhattacharya외 1명|arXiv (Cornell University)|2016. 11. 27.

Generative Adversarial Networks and Image Synthesis인용 수 13

한 줄 요약

이 논문은 Road Rash의 게임플레이 데이터를 기반으로 훈련된 DCGAN 아키텍처를 사용하여 현재 이미지와 키입력 정보로부터 미래 주행 환경을 합성하는 생성적 적대적 네트워크 프레임워크인 SAD-GAN을 제안한다. 행동을 '안전' 또는 '비안전'으로 분류하는 데 90%의 정확도를 달성하여, 암시적 강화학습 및 모방학습 원리를 통해 합성 데이터를 자율주행 정책 학습에 활용할 수 있음을 입증한다.

ABSTRACT

Autonomous driving is one of the most recent topics of interest which is aimed at replicating human driving behavior keeping in mind the safety issues. We approach the problem of learning synthetic driving using generative neural networks. The main idea is to make a controller trainer network using images plus key press data to mimic human learning. We used the architecture of a stable GAN to make predictions between driving scenes using key presses. We train our model on one video game (Road Rash) and tested the accuracy and compared it by running the model on other maps in Road Rash to determine the extent of learning.

연구 동기 및 목표

• 현재 시각 입력과 조작 입력으로부터 미래 주행 환경을 예측하는 생성 모델을 개발한다.
• 비디오 게임에서 유도된 합성 데이터를 사용하여 엔드 투 엔드 주행 정책 네트워크를 훈련시키는 것을 탐색한다.
• 차량 안전성을 속도 또는 순위보다 우선시하는 강화학습 프레임워크를 통해 안전 행동 예측을 가능하게 한다.
• 훈련된 생성자 모델이 다양한 게임 환경 간에 전이 가능한지를 시연한다. 이는 실제 주행 환경에서의 일반화를 시뮬레이션한다.

제안 방법

• 현재 이미지와 키입력 정보를 바탕으로 다음 주행 프레임을 예측하는 생성자 모델을 포함한 딥 컨volution 제너레이티브 적대적 네트워크(DCGAN)를 훈련시켰다.
• 컨볼루션 계층과 리 leaky ReLU를 사용한 판별자 네트워크를 도입하여 실제 프레임과 생성된 프레임을 구분함으로써 훈련 안정성을 향상시켰다.
• 학습 안정성 향상과 입력 정규화(평균 0, 분산 1)를 위해 판별자에 배치 정규화를 적용했다.
• 예측된 미래 프레임을 바탕으로 행동을 '안전' 또는 '비안전'으로 분류하기 위해 별도의 컨볼루션 신경망(AlexNet 기반)을 사용했다.
• 최적화를 위해 동적 경사 하강법을 사용했으며, 모멘텀 값은 0.9로 설정하고 배치 학습 방식을 적용했다.
• 강화학습 보상은 게임 트리의 안전한 레벨 수의 최대값으로 암시적으로 정의하여, 속도나 순위보다 안전성을 우선시했다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델이 단일 이미지와 키입력 정보로부터 실감나는 미래 주행 환경을 효과적으로 생성할 수 있는가?
• RQ2 합성 게임플레이 데이터로 훈련된 모델이 미리보지 않은 게임 지도나 환경으로 일반화될 수 있는 정도는 어느 정도인가?
• RQ3 명시적 보상 설계 없이도 암시적 강화학습 전략이 안전한 주행 행동을 효과적으로 학습할 수 있는가?
• RQ4 생성자 네트워크를 사용하여 자율주행의 의사결정을 위한 다수의 미래 상태를 시뮬레이션할 수 있는가?
• RQ5 단일 게임 환경에서 훈련된 모델의 성능이 다양한 주행 시나리오에 걸쳐 일반화되는가?

주요 결과

• 안전/비안전 분류 네트워크는 25개의 에포크 훈련 후, 클래스당 200장의 이미지를 사용하여 90%의 정확도를 달성했다.
• Road Rash에서 수집한 데이터셋을 사용해 훈련 과정이 약 1시간이 소요되었다.
• 모델은 단일 입력 이미지와 키입력 조합으로부터 세 가지 다른 미래 프레임(왼쪽, 오른쪽, 위)을 성공적으로 생성했다.
• 판별자가 실제 프레임과 생성된 프레임을 효과적으로 구분함으로써 안정적인 GAN 훈련이 이루어졌음을 확인했다.
• 안전한 게임 트리 진행을 기반으로 한 암시적 보상 메커니즘이 인간의 의사결정 방식을 모방하며 안전성을 우선시하는 행동을 이끌어냈다.
• 생성자 모델은 초기 훈련 후 새로운 환경에 적용 가능하므로, 전이 학습 잠재력이 있음을 입증했다.