[논문 리뷰] Driver Profiling and Bayesian Workload Estimation Using Naturalistic Peripheral Detection Study Data

Nermin Caber, Bashar I. Ahmad외 6명|arXiv (Cornell University)|2023. 03. 26.

Human-Automation Interaction and Safety인용 수 1

한 줄 요약

이 논문은 수정된 비주력 탐지 작업을 활용한 새로운 도로 주행 연구를 제안하며, 주관적 작업부하 데이터를 수집함으로써 지도학습을 통한 운전자 프로파일링과 베이지안 필터링 프레임워크를 이용한 실시간순간 작업부하 추정을 가능하게 한다. 평균 작업부하 프로파일 분류에 대해 최대 F1 점수 92%와 비동기 CAN-bus 신호를 이용한 실시간 작업부하 추적에 대해 81%의 성능을 달성하여, 적응형 HMI를 위한 개인화되고 맥락 인식 가능한 작업부하 추정의 효과성을 입증한다.

ABSTRACT

Monitoring drivers' mental workload facilitates initiating and maintaining safe interactions with in-vehicle information systems, and thus delivers adaptive human machine interaction with reduced impact on the primary task of driving. In this paper, we tackle the problem of workload estimation from driving performance data. First, we present a novel on-road study for collecting subjective workload data via a modified peripheral detection task in naturalistic settings. Key environmental factors that induce a high mental workload are identified via video analysis, e.g. junctions and behaviour of vehicle in front. Second, a supervised learning framework using state-of-the-art time series classifiers (e.g. convolutional neural network and transform techniques) is introduced to profile drivers based on the average workload they experience during a journey. A Bayesian filtering approach is then proposed for sequentially estimating, in (near) real-time, the driver's instantaneous workload. This computationally efficient and flexible method can be easily personalised to a driver (e.g. incorporate their inferred average workload profile), adapted to driving/environmental contexts (e.g. road type) and extended with data streams from new sources. The efficacy of the presented profiling and instantaneous workload estimation approaches are demonstrated using the on-road study data, showing $F_{1}$ scores of up to 92% and 81%, respectively.

연구 동기 및 목표

• 자연주의 주행 환경에서 높은 순간적 정신적 작업부하를 유도하는 환경적 및 주행 맥락을 규명하는 것.
• 운전자의 장기적 작업부하 행동을 바탕으로 고유한 평균 작업부하 프로파일(AWP) 그룹으로 분류할 수 있는지 확인하는 것.
• 비동기 차량 데이터 스트림을 이용해 개인화된 실시간 순간 작업부하 추정 방법을 개발하는 것.
• 다양한 주행 맥락과 개인적 차이에 걸쳐 유연하고 강건하게 운전자 작업부하를 추정함으로써 적응형 인간기계 상호작용을 가능하게 하는 것.

제안 방법

• 실제 주행 환경에서 수정된 비주력 탐지 작업을 시행하여 실시간 주관적 작업부하 평가를 수집하였다.
• 운전 영상 분석을 통해 고순간 작업부하와 관련이 있는 외부 요인들—예를 들어 교차로 및 앞서는 차량의 행동—을 규명하였다.
• 최신 시계열 분류 기법(예: CNN, 트랜스포머)을 기반으로 한 지도학습 프레임워크를 적용하여 제한된 학습 데이터로도 운전자를 고유한 평균 작업부하 프로파일(AWP) 카테고리로 분류하였다.
• 비동기 다변량 CAN-bus 신호로부터 순간 작업부하를 거의 실시간으로 추정하기 위한 베이지안 필터링 방법을 개발하였다.
• 필터는 운전자 고유의 특성(예: 유추된 AWP)과 맥락 정보(예: 도로 유형)를 통합하여 작업부하 추정을 개인화하고 적응 가능하게 하였다.
• 상태 전이 모델과 관측 모델을 활용한 순차적 추론을 통해, 광범위한 재학습 없이도 저자료, 해석 가능하고 실시간 작업부하 추적을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 자연주의 주행 환경에서 어떤 환경적 및 주행 맥락이 높은 순간 작업부하 수준을 유도하는가?
• RQ2 운전자의 장기적 작업부하 행동을 바탕으로 고유한 평균 작업부하 프로파일(AWP) 그룹으로 분류할 수 있으며, 이러한 그룹은 자가 보고한 운전 스타일과 어떻게 관련이 있는가?
• RQ3 비동기 데이터 스트림으로부터 개인적 및 맥락적 정보를 통합하면서도 운전자 순간 작업부하를 어떻게 실시간(또는 거의 실시간)으로 추정할 수 있는가?
• RQ4 개인화되고 맥락 인식 가능한 작업부하 추정은 실시간 작업부하 추적 정확도를 어느 정도 향상시킬 수 있는가?

주요 결과

• 교차로와 앞서는 차량을 주시하는 행동이 높은 순간 작업부하 수준을 유도하는 주요 환경적 요인로 규명되었다.
• 운전자 중에서 저, 중, 고의 세 가지 고유한 평균 작업부하 프로파일이 확인되어 개인 간 작업부하 관리 방식의 차이를 확인하였다.
• 자기 보고한 운전 스타일과 평균 작업부하 프로파일 간에 명확한 상관관계가 발견되지 않아 데이터 기반 프로파일링의 필요성을 강조하였다.
• 지도학습 프레임워크는 제한된 학습 데이터로도 운전자를 각각의 평균 작업부하 프로파일 그룹으로 분류하는 데 최대 F1 점수 92%를 달성하였다.
• 베이지안 필터링 방법은 비동기 CAN-bus 신호로부터 실시간 순간 작업부하 추정에 F1 점수 81%를 달성하였다.
• 베이지안 필터는 비동기 데이터에 대한 강건성, 저자료 요구 조건, 운전자 고유의 AWP 및 도로 유형과 같은 맥락 특성을 활용한 효과적인 개인화를 입증하였다.