[논문 리뷰] Beyond Grand Theft Auto V for Training, Testing and Enhancing Deep Learning in Self Driving Cars

Mark Martinez, Chawin Sitawarin외 4명|arXiv (Cornell University)|2017. 12. 04.

Autonomous Vehicle Technology and Safety참고 문헌 14인용 수 59

한 줄 요약

논문은 GTA-V를 사용해 CNN의 주행-노출(affordance) 학습에 필요한 라벨링된 데이터를 수집하고 고속도로 주행 변수에 대한 CNN을 학습시키며, Unity 기반 프린스턴 가상 환경(PVE)을 도입해 코너케이스를 테스트하고 모델을 개선합니다. 또한 학습 결과를 보고하고 한계점과 향후 방향을 논의합니다.

ABSTRACT

As an initial assessment, over 480,000 labeled virtual images of normal highway driving were readily generated in Grand Theft Auto V's virtual environment. Using these images, a CNN was trained to detect following distance to cars/objects ahead, lane markings, and driving angle (angular heading relative to lane centerline): all variables necessary for basic autonomous driving. Encouraging results were obtained when tested on over 50,000 labeled virtual images from substantially different GTA-V driving environments. This initial assessment begins to define both the range and scope of the labeled images needed for training as well as the range and scope of labeled images needed for testing the definition of boundaries and limitations of trained networks. It is the efficacy and flexibility of a "GTA-V"-like virtual environment that is expected to provide an efficient well-defined foundation for the training and testing of Convolutional Neural Networks for safe driving. Additionally, described is the Princeton Virtual Environment (PVE) for the training, testing and enhancement of safe driving AI, which is being developed using the video-game engine Unity. PVE is being developed to recreate rare but critical corner cases that can be used in re-training and enhancing machine learning models and understanding the limitations of current self driving models. The Florida Tesla crash is being used as an initial reference.

연구 동기 및 목표

• GTA-V가 운전 어포던스 추정용 CNN 학습에 필요한 크고 라벨링된 데이터 세트를 생성할 수 있음을 Demonstrate한다.
• 고속도로 주행에 직접지각에 사용할 수 있는 8개의 어포던스 변수 집합을 식별한다.
• 가상 데이터의 한계와 자율주행 모델을 위한 초기 CNN 학습 결과를 분석한다.
• PVE(Unity 기반 가상 환경)를 제안하여 드문 코너 케이스를 재현하고 학습 및 테스트를 돕는다.

제안 방법

• 8개의 연속 어포던스 출력(각도, 차_L, 차_M, 차_R, 차선_LL, 차선_L, 차선_R, 차선_RR)에 대해 회귀를 수행하도록 AlexNet 계열 CNN을 적응시킨다.
• 망 출력이 tanh 활성화 및 평균 제곱 오차 손실을 가진 8개의 실수 값 뉴런으로 나오도록 네트워크를 수정한다.
• Rage Plugin Hook을 통해 Ground-truth 어포던스가 있는 약 483,000장의 GTA-V 이미지를 수집하고, 학습용으로 350,000장, 테스트/검증용으로 133,000장을 사용한다.
• 입력을 평균 빼기 전처리 및 활성/비활성 어포던스를 [-0.9,0.9]로 재스케일링해 네트워크 출력 범위를 반영하고, 비활성 어포던스를 범위를 벗어난 것으로 간주한다.
• 테슬라 K40에서 배치 크기 32로 약 21에포크(≈36시간) 학습하고, 어포던스별 검증 손실을 보고한다.
• 통제 가능한 합성 주행 시나리오 및 코너 케이스(예: 보행자 건널목, Tesla Florida 사고 등)를 재훈련용으로 생성하는 Unity 기반 파이프라인(Mapzen 기반 데이터 활용)을 설명한다.]
• research_questions:[
• GTA-V를 사용해 고속도로 주행에 대한 CNN 기반 직접지각 모델 학습에 충분한 라벨링 데이터를 생성할 수 있는가?
• 이미지 데이터로부터 직접지각에 유용한 8개의 어포던스 변수는 무엇인가?
• GTA-V 테스트 데이터에서 CNN으로 추정된 어포던스(각도 및 거리)가 Ground-truth와 어떻게 비교되며 주요 오차 원인은 무엇인가?
• Unity 기반 환경(PVE)이 훈련 및 모델 한계 이해를 돕는 유용한 코너 케이스를 재현할 수 있는가?
• 가상 데이터와 실제 주행 시스템 간의 연결에 있어 실질적인 한계점과 향후 방향은 무엇인가?

실험 결과

연구 질문

• RQ1 Can GTA-V be used to generate labeled data sufficient for training CNN-based direct-perception models for highway driving?
• RQ2 What are the 8 affordance variables useful for direct perception in autonomous driving from image data?
• RQ3 How do CNN-estimated affordances (angle and distances) compare to ground-truth in GTA-V test data, and what are the main sources of error?
• RQ4 Can a Unity-based environment (PVE) recreate useful corner cases to enhance training and understanding of model limitations?
• RQ5 What are practical limitations and future directions for bridging virtual data with real-world driving systems?

주요 결과

• CNN은 각 샘플당 변수별 최종 학습 손실을 0.151로, 샘플당 변수별 검증 손실을 0.314로 달성했으며 8개의 어포던스에서 평가했다.
• 도로과 각도 및 차선 거리 추정이 가장 낮은 검증 손실을 보였고, 차 거리 추정은 더 높았으며 차선 관련 변수에서 과적합 징후가 나타났다.
• 차선 거리 추정이 차 거리 추정보다 더 정확했고, car_M의 오차는 인접 좌/우 차선에 차가 있을 때나 거리가 멀 때 크게 나타났다.
• 약 483,000장의 GTA-V 이미지로 학습/검증하는 가상 데이터의 자율주행 어포던스 학습 가능성을 시연했다.
• Unity 기반 환경(PVE)은 GTA-V에서 쉽게 얻기 어려운 코너 케이스(예: 보행자 건널목, Tesla 충돌 시나리오) 생성이 가능해 모델 재훈련 및 개선을 지원한다.
• 저자들은 GTA-V의 한계(합법성, 확장성, 현실감) 를 인정하고, 실제 데이터와 가상 데이터를 결합하고 시계열 의존 모델(예: 3D CNN, LSTM) 탐색 등의 향후 방향을 제시한다.