[논문 리뷰] Real-time Trust Prediction in Conditionally Automated Driving Using Physiological Measures

Jackie Ayoub, Lilit Avetisian외 2명|arXiv (Cornell University)|2022. 12. 01.

Human-Automation Interaction and Safety인용 수 4

한 줄 요약

이 연구는 조건부 자율주행차를 위한 실시간 신뢰도 예측 시스템을 생리적 측정치와 기계학습을 활용해 제안한다. 시뮬레이션된 타이머 리포지션 상황에서 전기피부반응(GSR), 심박수변동성(HRV), 시각 추적 데이터를 분석한 결과, XGBoost 모델은 동적으로 운전자의 신뢰도를 예측하는 데 F1-스코어 89.1%를 기록하여 다른 모델들을 압도했으며, 차량 내 신뢰도 캘리브레이션 시스템의 기초를 마련했다.

ABSTRACT

Trust calibration presents a main challenge during the interaction between drivers and automated vehicles (AVs). In order to calibrate trust, it is important to measure drivers' trust in real time. One possible method is through modeling its dynamic changes using machine learning models and physiological measures. In this paper, we proposed a technique based on machine learning models to predict drivers' dynamic trust in conditional AVs using physiological measurements in real time. We conducted the study in a driving simulator where participants were requested to take over control from automated driving in three conditions that included a control condition, a false alarm condition, a miss condition with eight takeover requests (TORs) in different scenarios. Drivers' physiological measures were recorded during the experiment, including galvanic skin response (GSR), heart rate (HR) indices, and eye-tracking metrics. Using five machine learning models, we found that eXtreme Gradient Boosting (XGBoost) performed the best and was able to predict drivers' trust in real time with an f1-score of 89.1%. Our findings provide good implications on how to design an in-vehicle trust monitoring system to calibrate drivers' trust to facilitate interaction between the driver and the AV in real time.

연구 동기 및 목표

• 조건부 자율주행차에서 생리적 신호를 활용한 실시간 동적 신뢰도 예측 방법을 개발하기 위해.
• 타이머 리포지션 상황에서 생리적 및 행동 측정치를 기반으로 신뢰도를 예측하는 데 기계학습 모델의 효과성을 평가하기 위해.
• 자율주행 환경에서의 신뢰도 추정에 가장 예측력 있는 생리적 특징을 규명하기 위해.
• 운전자-AV 상호작용과 안전성을 향상시키기 위한 차량 내 신뢰도 캘리브레이션 시스템 설계를 뒷받침하기 위해.

제안 방법

• 제어, 오류 경고, 빠짐 상황을 포함한 세 가지 조건에서 총 59명의 참가자가 참여한 주행 시뮬레이터 연구를 수행하였다. 이 중 타이머 리포지션 요청(TORs)이 총 8회 발생하였다.
• 전기피부반응(GSR), 심박수(HR) 지표, 중심 디스플레이 및 태블릿에 대한 집중 횟수 및 지속시간 등의 시각 추적 지표를 포함한 생리적 데이터를 수집하였다.
• 생리적 및 시각 추적 데이터에서 전처리 및 특징 추출을 수행하였으며, 평균_GSR, 평균_HRV, 중심_집중_횟수, 태블릿_평균_지속시간 등의 특징을 포함하였다.
• 행동적 및 생리적 패tern을 기반으로 레이블링된 신뢰 상태를 바탕으로 XGBoost, 랜덤 포레스트, 로지스틱 회귀, 서포트 벡터 머신, 나이브 베이즈 등 다섯 가지 기계학습 모델을 훈련시켰다.
• 실시간으로 운전 중 상호작용 동안의 신뢰 수준을 예측할 수 있도록 시간 창 기반 접근법을 사용하였다.
• F1-스코어와 특징 중요도 분석을 바탕으로 XGBoost를 최적의 모델로 선정하였다.

Figure 1: Framework of the proposed study.

실험 결과

연구 질문

• RQ1 생리적 측정치는 조건부 자율주행에서 실시간으로 동적 신뢰도를 신뢰성 있게 예측할 수 있는가?
• RQ2 다른 시스템 고장 유형—오류 경고와 빠짐—은 신뢰도 역학과 생리적 반응에 어떤 영향을 미치는가?
• RQ3 실시간 생리적 데이터를 활용할 때 어떤 기계학습 모델이 신뢰도 예측에서 가장 우수한 성능을 보이는가?
• RQ4 특정 생리적 및 시각 추적 특징 중에서 운전자의 신뢰도를 가장 잘 예측하는 것은 무엇인가?

주요 결과

• XGBoost 모델은 실시간 신뢰도 예측에서 F1-스코어 89.1%로 가장 높은 성능을 기록하여 다른 모델들을 능가하였다.
• 모델은 제어, 오류 경고, 빠짐 조건 간의 신뢰 상태를 분류하는 데 정확도 81.6%를 기록하였다.
• 가장 예측력 있는 특징은 평균_HR_최대, 평균_HRV, 중심_집중_횟수, 평균_GSR, 태블릿_집중_횟수, 태블릿_분산_평균, 태블릿_지속시간_평균였다.
• 높은 평균_HRV는 특히 빠짐 상황와 같은 낮은 신뢰 조건에서 경각심 증가와 더 나은 인지 준비 상태와 관련이 있었다.
• 높은 평균_GSR은 더 높은 신뢰도와 관련이 있었으며, 이는 참여도가 높은 제어 조건에서의 자극 증가로 인한 것으로 보이며, 일부 이전 연구 결과와는 정반대되는 결과였다.
• 중심 디스플레이 및 태블릿에 대한 집중 횟수와 지속시간 등의 시각 추적 특징은 주로 시스템 인터페이스에 대한 주의 집중을 나타내어 중요한 예측 변수로 기능하였다.

Figure 2: (a) Experiment setup (b) Trust change self-report question (c) iMotion software.