[논문 리뷰] Learning a CNN-based End-to-End Controller for a Formula SAE Racecar

Skanda Koppula|arXiv (Cornell University)|2017. 07. 12.

Autonomous Vehicle Technology and Safety참고 문헌 3인용 수 6

한 줄 요약

이 논문은 카메라 입력을 사용하여 실시간으로 조향, 브레이크, 가속 조작을 예측하는 CNN 기반 엔드 투 엔드 컨트롤러를 제안한다. 이는 이산 조향 분류에서 높은 정확도(검증 정확도 95.5%)를 달성하였고, 실시간 제어에 적합한 저지연 추론을 보이며, 연속 조향 각도 예측에서 初기 성공을 거두었고, 브레이크/가속 제어를 위한 제안된 아키텍처도 제시한다.

ABSTRACT

We present a set of CNN-based end-to-end models for controls of a Formula SAE racecar, along with various benchmarking and visualization tools to understand model performance. We tackled three main problems in the context of cone-delineated racetrack driving: (1) discretized steering, which translates a first-person frame along to the track to a predicted steering direction. (2) real-value steering, which translates a frame view to a real-value steering angle, and (3) a network design for predicting brake and throttle. We demonstrate high accuracy on our discretization task, low theoretical testing errors with our model for real-value steering, and a starting point for future work regarding a controller for our vehicle's brake and throttle. Timing benchmarks suggests that the networks we propose have the latency and throughput required for real-time controllers, when run on GPU-enabled hardware.

연구 동기 및 목표

• 콘다이어레티드 트랙에서 자율 주행을 위한 CNN 기반 엔드 투 엔드 컨트롤러를 개발한다.
• 제한된 훈련 데이터 문제를 해결하기 위해 데이터 증강 및 강인한 모델 설계를 통해 누적 오류를 방지한다.
• GPU 하드웨어에서 실시간 제어에 적합한 저지연 추론을 달성한다.
• 컨트롤러를 연속 조향 각도 예측으로 확장하고, 브레이크/가속 제어를 위한 프레임워크를 개발한다.
• 동기화된 영상 및 주행 상태 데이터를 사용하여 모델 성능을 검증하고, 오류 분석을 위한 시각적 시뮬레이션을 활용한다.

제안 방법

• 400m 콘 트랙에서 세 명의 인간 드라이버로부터 12,097개의 동기화된 이미지 및 주행 상태 프레임(조향, 브레이크, 가속, 모터 속도)을 수집하였다.
• 차원과 메모리 사용량을 줄이기 위해 영상 프레임을 256×256로 자르고 크기를 조정하였으며, 데이터를 60% 훈련, 20% 검증, 20% 테스트로 분할하였다.
• 이산 조향 분류(좌회전/직진/우회전)를 위해 여러 CNN 아키텍처(1CL-1FC에서 3CL-2FC까지)를 훈련시켰고, 배치 정규화와 ReLU 활성화 함수를 사용하였다.
• L1 손실을 사용하는 회귀 헤드를 도입하여 실수값 조향 각도 예측을 확장하였고, 영상과 모터 속도 입력을 사용하여 브레이크/가속 예측을 위한 다중 입력 DAG 아키텍처를 설계하였다.
• 이미지 변환 기반 데이터 증강을 적용하여 중심에서 벗어난 주행 상황을 시뮬레이션하고, 시점 이동에 대한 강인성을 향상시켰다.
• 훈련에는 Torch를 GPU 클러스터에서 사용하였고, 예측된 조작과 트랙 기하학 간의 일치를 검증하기 위해 시각적 시뮬레이션 도구를 활용하였다.

실험 결과

연구 질문

• RQ1 CNN 기반 엔드 투 엔드 컨트롤러는 시각 입력과 제한된 실세계 주행 데이터만으로 포뮬러 SAE 레이스카의 조향을 학습할 수 있는가?
• RQ2 이산 조향 예측와 연속 조향 예측 간의 모델 성능는 어떻게 달라지며, 정확도와 지연 간의 상충 관계는 어떠한가?
• RQ3 이미지 변환을 통한 데이터 증강이 중심에서 벗어난 주행 상황에서의 일반화 능력 향상과 누적 오류 감소에 기여하는가?
• RQ4 영상 및 운동 상태 입력을 활용한 브레이크와 가속 조작의 효과적인 동시 예측을 가능하게 하는 아키텍처 설계는 무엇인가?
• RQ5 컨트롤러는 임베디드 GPU 하드웨어에서 실시간 배포에 적합한 충분히 낮은 추론 지연을 달성할 수 있는가?

주요 결과

• 이산 조향 모델은 검증 정확도 95.5%를 달성하여 소규모 데이터셋에서 엔드 투 엔드 학습의 가능성을 입증하였다.
• 실수값 조향 각도 모델은 평균 L1 검증 손실 1.4를 기록하여 연속 조향 각도 예측의 높은 정밀도를 보였다.
• 이미지 변환 기반 데이터 증강을 통해 혼합 테스트 세트에서 검증 손실이 18.1에서 7.4로 감소하여 중심에서 벗어난 주행에 대한 강인성이 향상됨을 시사하였다.
• 제안된 브레이크/가속 컨트롤러 아키텍처는 영상과 모터 속도 입력을 가진 다중 부모 DAG를 사용하며, 스케일드 시그모이드 출력을 통해 동시 예측을 가능하게 하였다.
• 시간 측정 벤치마크 결과, 제안된 모델들은 낮은 패assing 지연을 보이며 GPU 하드웨어에서 실시간 배포에 적합함을 확인하였다.
• 시각적 시뮬레이션 결과, 프레임 단위의 조향 예측만으로는 불안정한 행동이 발생함을 확인하였고, 이는 오류 누적을 방지하기 위해 순환 또는 확률적 방법의 필요성을 강조한다.