[논문 리뷰] Brain4Cars: Car That Knows Before You Do via Sensory-Fusion Deep Learning Architecture

Ashesh Jain, Hema Swetha Koppula외 4명|arXiv (Cornell University)|2016. 01. 05.

Autonomous Vehicle Technology and Safety참고 문헌 67인용 수 95

한 줄 요약

이 논문은 뇌4카스(Brain4Cars)를 제안하며, 내부 카메라, GPS, 차량 동역학, 도로 지도의 다중 모달 데이터를 융합하여 RNN에 LSTM 유닛을 사용해 운전자의 조작을 3.5초 전에 예측하는 감각 융합 딥러닝 아키텍처를 개발한다. 새로운 순서-순서 학습 절차와 맞춤형 손실 레이어를 사용하여 90.5% 정밀도와 87.4% 재현율을 달성하며, 고급 운전자 보조 시스템(ADAS)의 조기에 경고 기능을 크게 향상시킨다.

ABSTRACT

Advanced Driver Assistance Systems (ADAS) have made driving safer over the last decade. They prepare vehicles for unsafe road conditions and alert drivers if they perform a dangerous maneuver. However, many accidents are unavoidable because by the time drivers are alerted, it is already too late. Anticipating maneuvers beforehand can alert drivers before they perform the maneuver and also give ADAS more time to avoid or prepare for the danger. In this work we propose a vehicular sensor-rich platform and learning algorithms for maneuver anticipation. For this purpose we equip a car with cameras, Global Positioning System (GPS), and a computing device to capture the driving context from both inside and outside of the car. In order to anticipate maneuvers, we propose a sensory-fusion deep learning architecture which jointly learns to anticipate and fuse multiple sensory streams. Our architecture consists of Recurrent Neural Networks (RNNs) that use Long Short-Term Memory (LSTM) units to capture long temporal dependencies. We propose a novel training procedure which allows the network to predict the future given only a partial temporal context. We introduce a diverse data set with 1180 miles of natural freeway and city driving, and show that we can anticipate maneuvers 3.5 seconds before they occur in real-time with a precision and recall of 90.5\% and 87.4\% respectively.

연구 동기 및 목표

• 운전자의 조작을 미리 예측하여 ADAS에서 더 이른 경고와 더 안전한 개입을 가능하게 하는 실시간 시스템을 개발하는 것.
• 기존 ADAS 시스템이 위험한 조작이 시작된 후에야 반응하는 한계를 보완하기 위해, 부분적인 시간적 맥락을 이용해 향후 행동을 예측하는 것.
• 다양한 데이터 스트림—영상, GPS, 차량 동역학, 지도—를 통합할 수 있는 강력한 감각 융합 아키텍처를 구축하는 것.
• 향후 연구를 위한 벤치마킹을 가능하게 하기 위해, 내부 및 외부 영상, GPS, 차량 동역학 데이터를 동기화한 대규모이고 다양한 자연 주행 데이터셋을 공개하는 것.
• 예측 주행 시스템과 로봇 공학 분야의 감각 융합 연구를 가속화하기 위해 오픈소스 딥러닝 패키지를 제공하는 것.

제안 방법

• 시스템은 다중 모달 센서 데이터의 장기적 시간적 의존성을 모델링하기 위해 장기 기억 단기 기억(Long Short-Term Memory, LSTM) 유닛을 갖춘 순환 신경망(RNN)을 사용한다.
• 새로운 순서-순서 학습 절차를 통해 네트워크가 부분적인 시간적 맥락에서 향후 조작을 예측할 수 있도록 하여 실시간 예측을 시뮬레이션한다.
• 제한된 시간적 시퀀스에서의 학습 중 일반화 능력 향상과 과적합 방지를 위해 맞춤형 손실 레이어를 도입한다.
• 내부(운전자 얼굴, 제스처) 및 외부(도로 풍경, GPS, 차량 동역학) 센서의 특징을 융합하여 조작 예측을 위한 공동 표현을 생성한다.
• 추론에는 청각-영상-객체 은닉 마르코프 모델(AIO-HMM)을 사용하며, 전진-후진 알고리즘을 통해 운전자 의도 상태를 모델링하고 조작 확률을 계산한다.
• 시스템은 얼굴 추적기를 사용해 운전자 상태 특징을 추출하고, 이를 외부 센서 특징과 결합하여 베이지안 추론(식 20)을 통해 조작 가능성도를 계산한다.

실험 결과

연구 질문

• RQ1 다중 모달 센서의 부분적인 시간적 맥락만을 사용해도 딥러닝 모델이 운전자의 조작을 효과적으로 예측할 수 있는가?
• RQ2 감각 융합 RNN-LSTM 아키텍처는 다양한 주행 조건, 노선, 운전자 행동 간에 얼마나 잘 일반화되는가?
• RQ3 3D 얼굴 자세 추정 기술을 표준 얼굴 추적보다 사용할 경우, 조작 예측 성능에 얼마나 기여하는가?
• RQ4 단일 모달 접근 방식과 비교해 다중 모달 센서 융합이 예측 정확도를 얼마나 향상시키는가?
• RQ5 실시간, 종단 간(end-to-end) 시스템이 높은 정밀도와 재현율로 3.5초 전에 신뢰할 만한 조작 예측을 수행할 수 있는가?

주요 결과

• 제안된 감각 융합 RNN-LSTM 아키텍처는 고급 3D 얼굴 자세 추정을 사용할 경우, 운전 조작을 3.5초 전에 90.5% 정밀도와 87.4% 재현율로 예측한다.
• 기본적인 표준 얼굴 추적기만을 사용할 경우, 84.5% 정밀도와 77.1% 재현율을 기록하여 강력한 기준 성능을 보여준다.
• 맞춤형 손실 레이어를 갖춘 새로운 순서-순서 학습 절차는 모델의 일반화 능력과 예측 정확도를 크게 향상시킨다.
• 내부 및 외부 감각 스트림 간의 공동 학습을 통해 이전의 단일 모달 접근 방식을 뛰어넘는 성능을 달성한다.
• 내부 및 외부 영상, GPS, 차량 동역학 데이터를 동기화한 1180마일 분량의 자연 주행 데이터셋을 공개함으로써, 향후 예측 시스템 연구의 벤치마킹과 연구를 가능하게 한다.
• 오픈소스 딥러닝 패키지는 재현 가능성 향상과 차세대 ADAS의 예측 기능을 갖춘 개발을 가속화한다.