[논문 리뷰] Deep Steering: Learning End-to-End Driving Model from Spatial and Temporal Visual Cues

Lu Chi, Yadong Mu|arXiv (Cornell University)|2017. 08. 12.

Autonomous Vehicle Technology and Safety참고 문헌 2인용 수 88

한 줄 요약

이 논문은 시공 간 cues를 스파시오-템poral 컨볼루션과 Conv-LSTM으로 통합하고 실제 인간 운전 데이터로 학습된 엔드-투-엔드 비전 기반 핸들링 모델을 제시하며 해석 가능성을 위한 시각화가 포함되어 있다.

ABSTRACT

In recent years, autonomous driving algorithms using low-cost vehicle-mounted cameras have attracted increasing endeavors from both academia and industry. There are multiple fronts to these endeavors, including object detection on roads, 3-D reconstruction etc., but in this work we focus on a vision-based model that directly maps raw input images to steering angles using deep networks. This represents a nascent research topic in computer vision. The technical contributions of this work are three-fold. First, the model is learned and evaluated on real human driving videos that are time-synchronized with other vehicle sensors. This differs from many prior models trained from synthetic data in racing games. Second, state-of-the-art models, such as PilotNet, mostly predict the wheel angles independently on each video frame, which contradicts common understanding of driving as a stateful process. Instead, our proposed model strikes a combination of spatial and temporal cues, jointly investigating instantaneous monocular camera observations and vehicle's historical states. This is in practice accomplished by inserting carefully-designed recurrent units (e.g., LSTM and Conv-LSTM) at proper network layers. Third, to facilitate the interpretability of the learned model, we utilize a visual back-propagation scheme for discovering and visualizing image regions crucially influencing the final steering prediction. Our experimental study is based on about 6 hours of human driving data provided by Udacity. Comprehensive quantitative evaluations demonstrate the effectiveness and robustness of our model, even under scenarios like drastic lighting changes and abrupt turning. The comparison with other state-of-the-art models clearly reveals its superior performance in predicting the due wheel angle for a self-driving car.

연구 동기 및 목표

• 비Synthetic 데이터가 아니라 실제 인간 운전 로그를 학습한 비전 기반 자율 주행 핸들링 모델의 학습 동기를 부여한다.
• 다중 네트워크 계층에서 순환 유닛을 사용하여 조타에서 시간 의존성을 통합한다.
• Spatio-temporal 컨볼루션과 다중 스케일 잔여 결합을 통해 시공-시간 정보를 포착하는 특징 추출 서브네트워크를 개발한다.
• 시간 정보를 활용한 회귀를 통해 매끄럽고 정확한 바퀴각도 예측을 생성하는 조타 예측 서브네트워크를 통합한다.
• 시각적 역전파를 통한 해석 가능성을 제공하여 조타 결정에 영향을 주는 이미지 영역을 식별한다.

제안 방법

• ST-Conv와 다중 스케일 잔여 결합을 갖춘 특징 추출 서브네트워크를 사용해 128-d 특징을 생성한다.
• ConvLSTM을 도입하여 프레임 간의 공간 구조를 보존하면서 시간적 역학을 모델링한다.
• 추출된 특징과 함께 이전 속도, 토크, 바퀴각도를 축적하는 LSTM를 포함한 3회의 재귀를 갖는 조타 예측 서브네트를 적용한다.
• 조타, 속도, 토크 손실을 결합한 다중 작업 목표로 학습하되 조타에 더 큰 가중치를 부여한다(감마 = 10).
• 바퀴각도 표준화 및 좌우 대칭을 통한 데이터 증강으로 일반화를 향상시킨다.
• GPS, 속도, 토크, 바퀴각도 주석이 동기화된 실제 Udacity 운전 데이터로 학습 및 평가한다.

실험 결과

연구 질문

• RQ1 시각 기반 모델이 실제 시간 동기화된 운전 데이터로부터 정확한 연속 조타 각도를 학습할 수 있는가?
• RQ2 다중 네트워크 계층에서 시간 정보를 통합하는 것이 프레임 단위 접근법보다 조타 예측 정확도를 향상시키는가?
• RQ3 ST-Conv와 ConvLSTM이 조타를 위한 시공-시간 신호를 포착하는 데 어떤 기여를 하는가?
• RQ4 데이터 증강(좌우 대칭) 및 키프레임 감소가 모델 성능과 일반화에 어떤 영향을 미치는가?
• RQ5 시각적 역전파를 통해 조타 결정에 영향을 주는 이미지 영역을 어떤 방식으로 시각화할 수 있는가?

주요 결과

• 제안된 Deep Steering 모델은 Udacity 운전 데이터셋에서 테스트된 아키텍처 중 가장 낮은 RMSE(0.0637)를 달성했다.
• ST-Conv, ConvLSTM, 다층 재귀를 통한 시간 정보의 도입은 프레임 단위 모델(PilotNet, VGG-16)보다 더 매끄럽고 정확한 조타를 생성한다.
• 좌우 대칭을 통한 데이터 증강은 단계 전반에서 RMSE를 개선하여 일반화 이점을 확인시킨다.
• 조타, 속도, 토크 손실을 포함하는 다중 작업 목표는 조타 성능을 향상시키며 조타에 더 큰 가중치(γ=10)를 부여한다.
• 시각적 역전파를 통해 조타 결정에 영향을 주는 이미지 영역의 해석 가능한 로컬라이제이션이 가능하다.