[논문 리뷰] Driver Action Prediction Using Deep (Bidirectional) Recurrent Neural Network

Oluwatobi Olabiyi, Eric Martinson외 2명|arXiv (Cornell University)|2017. 06. 07.

Human Pose and Action Recognition참고 문헌 26인용 수 71

한 줄 요약

논문은 운전 행동 예측을 시계열 이상 탐지 문제로 공식화하고, 카메라/환경, 운전자, 차량 다이나믹스 데이터를 융합하여 실행 5초 전까지 가속, 제동, 차선 변경, 회전 등의 행동을 예측하기 위해 깊은 양방향 순환 신경망(DBRNN)을 사용한다.

ABSTRACT

Advanced driver assistance systems (ADAS) can be significantly improved with effective driver action prediction (DAP). Predicting driver actions early and accurately can help mitigate the effects of potentially unsafe driving behaviors and avoid possible accidents. In this paper, we formulate driver action prediction as a timeseries anomaly prediction problem. While the anomaly (driver actions of interest) detection might be trivial in this context, finding patterns that consistently precede an anomaly requires searching for or extracting features across multi-modal sensory inputs. We present such a driver action prediction system, including a real-time data acquisition, processing and learning framework for predicting future or impending driver action. The proposed system incorporates camera-based knowledge of the driving environment and the driver themselves, in addition to traditional vehicle dynamics. It then uses a deep bidirectional recurrent neural network (DBRNN) to learn the correlation between sensory inputs and impending driver behavior achieving accurate and high horizon action prediction. The proposed system performs better than other existing systems on driver action prediction tasks and can accurately predict key driver actions including acceleration, braking, lane change and turning at durations of 5sec before the action is executed by the driver.

연구 동기 및 목표

• ADAS를 조기에 정확하게 운전 행동 예측으로 개선.
• 환경, 운전자, 차량 다이나믹스의 멀티모달 센서 입력 활용으로 예측 성능 향상.
• 운전 행동 예측을 시계열 이상 탐지 문제로 공식화.
• 실시간 데이터 수집, 처리, 학습 프레임워크 개발.

제안 방법

• 센서 입력과 임박한 운전자 행동 간의 상관관계를 학습하기 위해 깊은 양방향 순환 신경망(DBRNN)을 적용.
• 카메라 기반 운전 환경 데이터와 운전자 신호 및 전통적 차량 다이나믹스를 통합.
• 임박한 운전자 행동을 시계열 프레임워크에서 예측해야 할 이상치로 간주.
• 지속적 예측을 위한 실시간 데이터 수집, 처리, 학습 파이프라인 구현.
• 가속, 제동, 차선 변경, 회전의 주요 행동을 5초 예측 지평으로 평가.

실험 결과

연구 질문

• RQ1 DBRNN이 다중 모달 입력과 임박한 운전자 행동 간의 상관관계를 효과적으로 학습할 수 있는가?
• RQ2 제안된 프레임워크를 사용하여 운전자 행동을 얼마나 조기에 얼마나 정확하게 예측할 수 있는가?
• RQ3 DBRNN 접근 방식이 가속, 제동, 차선 변경, 회전에 대해 기존 시스템과 비교하여 예측 성능을 개선하는가?
• RQ4 운전 행동 예측을 시계열 이상 탐지 문제로 공식화하는 데 따른 이점과 한계는 무엇인가?

주요 결과

• DBRNN 기반 시스템은 센서 입력과 임박한 운전자 행동 간의 상관관계를 학습한다.
• 프레임워크는 카메라, 운전자, 차량 다이나믹스를 통합하여 실시간으로 작동한다.
• 제안된 접근법은 운전자 행동 예측 작업에서 기존 시스템보다 성능이 우수하다.
• 실행 5초 전의 지평에서 주요 행동(가속, 제동, 차선 변경, 회전)을 정확하게 예측할 수 있다.