[논문 리뷰] Driver Intention Anticipation Based on In-Cabin and Driving Scene Monitoring

Yao Rong, Zeynep Akata외 1명|arXiv (Cornell University)|2020. 06. 20.

Autonomous Vehicle Technology and Safety참고 문헌 18인용 수 4

한 줄 요약

이 논문은 운전자의 차내 행동과 차외 교통 상황의 운동을 동시에 모델링하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 운동 특징 추출을 위해 ConvLSTM 기반 오토인코더를 사용하고, 새로운 공동 분류기 구조를 도입하였다. 이 방법은 Brain4cars 데이터셋에서 83.98%의 정확도와 84.30%의 F1 스코어를 달성하여, 차내 및 차외 특징이 상호 보완적이며 단일 스트림 방법에 비해 명령 의도 예측 성능을 크게 향상시킴을 입증한다.

ABSTRACT

Numerous car accidents are caused by improper driving maneuvers. Serious injuries are however avoidable if such driving maneuvers are detected beforehand and the driver is assisted accordingly. In fact, various recent research has focused on the automated prediction of driving maneuver based on hand-crafted features extracted mainly from in-cabin driver videos. Since the outside view from the traffic scene may also contain informative features for driving maneuver prediction, we present a framework for the detection of the drivers' intention based on both in-cabin and traffic scene videos. More specifically, we (1) propose a Convolutional-LSTM (ConvLSTM)-based auto-encoder to extract motion features from the out-cabin traffic, (2) train a classifier which considers motions from both in- and outside of the cabin jointly for maneuver intention anticipation, (3) experimentally prove that the in- and outside image features have complementary information. Our evaluation based on the publicly available dataset Brain4cars shows that our framework achieves a prediction with the accuracy of 83.98% and F1-score of 84.3%.

연구 동기 및 목표

• 차내 운전자 행동 및 차외 교통 상황 영상 데이터를 통합하여 운전자의 주행 명령 의도 예측 성능을 향상시키기 위해.
• 실제 환경에 적용하기에 비현실적인 수작업 특징 인코딩을 피하기 위해 엔드 투 엔드 학습 프레임워크를 개발하기 위해.
• ConvLSTM 기반 오토인코더를 사용하여 차외 영상에서 의미 있는 운동 특징을 추출함으로써 외부 환경 정보를 효과적으로 활용하기 위해.
• 자원 제약이 있는 모바일 또는 차량 내 플랫폼에 적합한 경량이며 파rameter 효율적인 모델을 설계하기 위해.
• 차내 및 차외 영상 스트림이 의도 예측에 있어 상호 보완적이고 상호 강화하는 정보를 제공하는지 검증하기 위해.

제안 방법

• 연속된 차외 영상 프레임의 옵티컬 플로우 표현에서 운동 특징을 추출하기 위해 ConvLSTM 기반 오토인코더를 사용한다.
• 3D ResNet-50을 사용하여 차내 운전자 영상에서 시공간 특징을 추출하며, 머리 움직임과 제스처를 포착한다.
• 외부 특징을 위한 운동 디코더를 통합한 새로운 분류기 아키텍처를 설계하여, 엔드 투 엔드 학습이 가능한 방식으로 차내 및 차외 특징을 공동 처리한다.
• 5종류의 주행 명령 유형(예: 좌회전, 우회전, 차선 변경 등) 간 클래스 불균형 문제를 해결하기 위해 균형 잠재 손실 함수를 사용하여 프레임워크를 학습시킨다.
• 공개된 Brain4cars 데이터셋을 대상으로 5겹 교차 검증을 수행하며, 단일 및 이중 스트림 입력에 대한 추론 실험을 실시한다.
• 수작업 특징 또는 수동으로 인코딩된 특징을 사용하지 않으며, 모든 특징은 원시 영상 데이터에서 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 차내 교통 영상에서 추출한 운동 특징을 차내 특징과 융합할 경우, 운전자의 주행 명령 의도 예측 성능이 향상되는가?
• RQ2 차내 및 차외 영상 스트림을 동시에 사용하는 공동 모델링 접근 방식이 단일 스트림 기반 모델보다 성능이 뛰어나게 되는가?
• RQ3 경량이며 엔드 투 엔드 딥 러닝 프레임워크는 수작업 특징 설계 없이 제한된 실생활 주행 데이터로부터 효과적으로 학습할 수 있는가?
• RQ4 차외 영상에서의 정보는 차내 특징과 상호 보완적인가, 아니면 융합 시 성능 저하를 초래하는가?
• RQ5 제안된 프레임워크는 이전의 대규모 모델에 비해 더 적은 파라미터로도 높은 정확도를 달성할 수 있는가?

주요 결과

• 제안된 이중 스트림 프레임워크는 Brain4cars 데이터셋에서 83.98%의 정확도와 84.30%의 F1 스코어를 기록하여 단일 스트림 기반 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 차외 영상만을 사용할 경우, 모델은 60.87%의 정확도와 66.38%의 F1 스코어를 달성하여 교통 상황의 운동 정보가 유의미한 예측 신호를 포함하고 있음을 입증하였다.
• 더 적은 파라미터를 사용하면서도 이전 최고 성능 모델인 3D ResNet-101 기반 모델보다 정확도 8.48%p, F1 스코어 11.10%p 향상시켰다.
• 임계치 기반 예측 정책이 필요로 하지 않으며, 모든 주행 명령 클래스에서 고정밀도를 유지하면서도 임계치 의존도가 낮다.
• 결과는 차내 및 차외 특징이 상호 보완적이며, 별도의 스트림보다 융합된 모델링 방식이 훨씬 뛰어난 성능을 낼 수 있음을 확인하였다.
• 모델는 파라미터 효율적이며, 양방향 스트림을 모두 사용할 경우 총 57.92만 개의 파라미터만을 가지며, 모바일 또는 임베디드 플랫폼에의 배포에 적합하다.