[논문 리뷰] MIT Autonomous Vehicle Technology Study: Large-Scale Deep Learning Based Analysis of Driver Behavior and Interaction with Automation

Lex Fridman, Daniel E. Brown외 16명|arXiv (Cornell University)|2017. 11. 19.

Autonomous Vehicle Technology and Safety인용 수 76

한 줄 요약

이 연구는 자율주행에서 인간-자동화 상호작용을 분석하기 위해 25台의 장비가 장착된 차량을 사용하여 대규모 실생활 데이터 수집을 수행한다. 고해상도 영상, CAN 버스, GPS, IMU 등의 다중모달 데이터를 7,146일간의 주행 및 275,589마일의 주행 거리에서 촬영하여 딥러닝을 활용해 행동적 통찰을 도출한다. 이 연구는 실생활 조건에서 운전자의 주행 참여도와 자동화 의존도를 이해하기 위한 풍부한 데이터셋과 컴퓨터 비전 파이프라인을 기여한다.

ABSTRACT

Today, and possibly for a long time to come, the full driving task is too complex an activity to be fully formalized as a sensing-acting robotics system that can be explicitly solved through model-based and learning-based approaches in order to achieve full unconstrained vehicle autonomy. Localization, mapping, scene perception, vehicle control, trajectory optimization, and higher-level planning decisions associated with autonomous vehicle development remain full of open challenges. This is especially true for unconstrained, real-world operation where the margin of allowable error is extremely small and the number of edge-cases is extremely large. Until these problems are solved, human beings will remain an integral part of the driving task, monitoring the AI system as it performs anywhere from just over 0% to just under 100% of the driving. The governing objectives of the MIT Autonomous Vehicle Technology (MIT-AVT) study are to (1) undertake large-scale real-world driving data collection, and (2) gain a holistic understanding of how human beings interact with vehicle automation technology. In pursuing these objectives, we have instrumented 21 Tesla Model S and Model X vehicles, 2 Volvo S90 vehicles, and 2 Range Rover Evoque vehicles for both long-term (over a year per driver) and medium term (one month per driver) naturalistic driving data collection. The recorded data streams include IMU, GPS, CAN messages, and high-definition video streams of the driver face, the driver cabin, the forward roadway, and the instrument cluster. The study is on-going and growing. To date, we have 78 participants, 7,146 days of participation, 275,589 miles, and 3.5 billion video frames. This paper presents the design of the study, the data collection hardware, the processing of the data, and the computer vision algorithms currently being used to extract actionable knowledge from the data.

연구 동기 및 목표

• 자율주행 차량에서 자연스러운 조건 하에서 대규모 실생활 주행 데이터를 수집하여 인간이 차량 자동화 시스템과 상호작용하는 방식을 연구하기 위해.
• 다양한 수준의 자동화에서 운전자가 자율주행 시스템을 감시하고 반응하는 방식을 이해하기 위해.
• 다중모달 센서 데이터에서 행동 및 상호작용 지표를 추출하기 위한 컴퓨터 비전 및 데이터 처리 파이프라인을 개발하고 검증하기 위해.
• 제약 없는 환경에서 운전 행동과 자동화 신뢰도 연구를 지원하는 확장 가능한 장기적 데이터 인프라를 구축하기 위해.

제안 방법

• GPS, IMU, CAN 버스, 고해상도 영상 센서를 탑재한 21대의 테슬라 모델 S/X, 2대의 볼보 S90, 2대의 레인지 로버 이보크 차량을 장비하였다.
• 78명의 참가자로부터 1년 이상의 장기적, 1개월 분량의 중기적 자연주의 주행 데이터를 수집하였다.
• 35억 장의 영상 프레임과 275,589마일의 주행 데이터를 컴퓨터 비전 알고리즘을 사용해 처리하여 운전자의 상태와 행동을 추출하였다.
• 딥러닝 모델을 적용해 운전자의 얼굴, 내부 실내, 전방 도로, 계기판 영상 스트림에서 행동 패턴을 탐지하였다.
• IMU, GPS, CAN 등의 센서 데이터 스트림을 영상 데이터와 통합하여 동기화된 다중모달 행동 분석을 수행하였다.
• 실생활 주행 환경에서 지속적인 데이터 수집과 분석을 지원하는 확장 가능한 데이터 파이프라인을 설계하였다.

실험 결과

연구 질문

• RQ1 실생활 제약 없는 주행 환경에서 운전자는 자율주행 시스템에 어떻게 참여하고 해제하는가?
• RQ2 수동 주행 모드와 자율주행 모드 간 전환 시 운전자의 행동 패턴은 어떻게 나타나는가?
• RQ3 다양한 수준의 자동화와 주행 시나리오에서 운전자의 주의 집중도와 작업 부담은 어떻게 변화하는가?
• RQ4 장기 사용 시 자동화에 대한 무관심 또는 과도한 의존의 주요 지표는 무엇인가?
• RQ5 다중모달 센서 데이터는 어떻게 효과적으로 융합되어 운전자의 상태와 상호작용 역학을 추론할 수 있는가?

주요 결과

• 78명의 참가자로부터 7,146일간의 주행 데이터, 275,589마일, 35억 장의 영상 프레임을 다양한 차량 플랫폼에서 수집하였다.
• 고해상도 영상, CAN 버스, GPS, IMU 데이터를 통합한 종합적인 다중모달 데이터셋을 구축하여 통합적인 행동 분석을 가능하게 하였다.
• 딥러닝 기반 컴퓨터 비전 알고리즘이 복잡한 실생활 주행 영상 스트림에서 실질적인 통찰을 성공적으로 추출하였다.
• 장기적이고 지속적인 자연주의 조건에서 운전자의 행동을 모니터링할 수 있는 데이터 수집 인프라가 구축되었다.
• 지속적인 인간-자동화 상호작용 데이터 확보 및 분석을 위한 확장 가능한 프레임워크를 제공하였다.
• 데이터셋과 처리 파이프라인은 연구 목적을 위해 공개되어 자율주행 차량에서의 운전 행동 연구를 널리 확장할 수 있도록 기여하였다.