[논문 리뷰] Imitation Learning for End to End Vehicle Longitudinal Control with Forward Camera

Laurent George, Thibault Buhet외 3명|arXiv (Cornell University)|2018. 12. 14.

Autonomous Vehicle Technology and Safety참고 문헌 11인용 수 11

한 줄 요약

이 논문은 전방 카메라와 LSTM 기반 신경망을 유일한 입력으로 사용하여 차량 종방향 속도 제어를 위한 엔드 투 엔드 복제 학습 시스템을 제시한다. 새로운 데이터 및 레이블 증강 파이pline과 맞춤형 스무딩 손실 함수를 도입하여, 인간 간섭을 최소화한 시뮬레이션 및 도전적인 테스트 트랙에서의 실제 주행 테스트에서도 강인한 속도 예측이 가능하다.

ABSTRACT

In this paper we present a complete study of an end-to-end imitation learning system for speed control of a real car, based on a neural network with a Long Short Term Memory (LSTM). To achieve robustness and generalization from expert demonstrations, we propose data augmentation and label augmentation that are relevant for imitation learning in longitudinal control context. Based on front camera image only, our system is able to correctly control the speed of a car in simulation environment, and in a real car on a challenging test track. The system also shows promising results in open road context.

연구 동기 및 목표

• 전방 카메라 입력만을 사용하여 완전한 엔드 투 엔드 복제 학습 시스템을 개발하는 것.
• 맞춤형 데이터 및 레이블 증강을 통해 종방향 제어의 복제 학습에서 발생하는 분포 이탈 및 일반화 문제를 해결하는 것.
• 시간 차분 스무딩 손실 함수를 도입하여 매끄럽고 인간과 유사한 속도 제어를 보장하는 것.
• 복잡한 도시 테스트 트랙에서의 시뮬레이션(GTA V) 및 실제 주행 테스트를 통해 시스템을 검증하는 것.
• 실시간 주행 시나리오에서 인간 간섭을 최소화한 온라인 실시간 성능을 입증하는 것.

제안 방법

• 320x240 정규화된 전방 카메라 이미지를 처리하기 위해 11층의 깊은 신경망(7개의 합성곱 레이어, 3개의 완전 연결 레이어, 1개의 LSTM 레이어)이 사용되며, 이를 통해 목표 속도를 예측한다.
• 신경망 출력은 퍼지 이득 적응 기능을 갖춘 PID 제어기로 가속도 명령으로 변환된다.
• 평균 제곱오차(MSE), 시간 차분 스무딩 손실 $L_p$, L2 정규화를 조합한 맞춤형 손실 함수가 제어 역학의 매끄러움을 보장한다.
• 스무딩 손실 $L_p = \sum_{t=1}^{N} \left[ Y(t) - Y(t-1) \right] - \left[ \hat{Y}(t) - \hat{Y}(t-1) \right]$는 예측된 속도 변화와 전문가의 속도 변화 간 격리 차이를 최소화한다.
• 데이터 증강에는 합성 이미지 변환과 레이블 편향이 포함되어 전문가 경로에서의 이탈을 시뮬레이션하고 강인성을 향상시킨다.
• 학습 데이터는 시뮬레이션(GTA V)과 실제 주행(파리 개방도로 및 동적 장벽과 채널이 있는 전용 테스트 트랙)에서 수집되었다.

실험 결과

연구 질문

• RQ1 전방 카메라 입력만을 사용하는 엔드 투 엔드 복제 학습 시스템이 실제 주행 환경에서 강인하고 매끄러운 종방향 속도 제어를 달성할 수 있는가?
• RQ2 종방향 제어에서 온라인 추론 중 분포 이탈을 완화하기 위해 레이블 및 데이터 증강이 얼마나 효과적인가?
• RQ3 시간 차분 스무딩 손실이 제어의 매끄러움과 시스템 성능에 미치는 영향은 무엇인가?
• RQ4 시스템은 장벽 주변 정지-출발 및 급격한 커브와 같은 복잡하고 동적인 상황으로 일반화될 수 있는가?
• RQ5 시뮬레이션, 개방도로, 전용 테스트 트랙 환경 간 시스템 성능는 어떻게 비교되는가?

주요 결과

• 전용 테스트 트랙에서 LSTM과 $L_p$ 손실을 사용하여 속도 평균 절대 오차(MAE)는 1.17 km/h, 가속도 MAE는 0.02 m/s²를 기록했다.
• CES 2018에서의 라이브 시연에서 시스템은 하루 동안 수십 번의 루프를 주행하면서 약 매일 한 번의 인간 간섭만을 요구하는 높은 신뢰성을 보였다.
• 시각적 백프로파게이션 분석을 통해 네트워크가 브레이킹 시 정지 신호, 장벽, 앞서 가는 차량과 같은 관련 도로 요소에 집중하고 있음을 확인했다.
• 개방도로 데이터에서는 속도 MAE가 6.40 km/h를 기록하여 도시 환경에서의 일반화 성능 향상 여력이 있음을 시사했다.
• 제안된 $L_p$ 손실은 기준 LSTM 및 일반 네트워크 대비 가속도 MAE를 감소시켜 제어의 매끄러움을 크게 향상시켰다.
• 데이터 증강, 레이블 증강, 맞춤형 손실 함수의 조합으로 실제 차량에서 인간 감시를 최소화한 실시간 제어가 성공적으로 구현되었다.