[논문 리뷰] Psychophysiological responses to takeover requests in conditionally automated driving

Na Du, X. Jessie Yang외 1명|arXiv (Cornell University)|2020. 10. 06.

Human-Automation Interaction and Safety참고 문헌 52인용 수 10

한 줄 요약

이 연구는 고정밀 시뮬레이터에서 SAE 레벨 3 자동운전의 인수 전환 과정 동안 심리생리적 반응을 심박수 변동성, 전도성 피부 반응, 시선 행동 및 얼굴 표정을 통해 조사한다. 주요 발견은 4초의 인수 요청 유예 시간과 높은 인지 부하가 스트레스를 증가시키고 주의를 감소시킨다는 점이며, 또한 혼잡한 교통 상황은 심박수 가속을 유도하여 성능 저하 이전에 인지 부담이 증가함을 시사한다.

ABSTRACT

In SAE Level 3 automated driving, taking over control from automation raises significant safety concerns because drivers out of the vehicle control loop have difficulty negotiating takeover transitions. Existing studies on takeover transitions have focused on drivers' behavioral responses to takeover requests (TORs). As a complement, this exploratory study aimed to examine drivers' psychophysiological responses to TORs as a result of varying non-driving-related tasks (NDRTs), traffic density and TOR lead time. A total number of 102 drivers were recruited and each of them experienced 8 takeover events in a high fidelity fixed-base driving simulator. Drivers' gaze behaviors, heart rate (HR) activities, galvanic skin responses (GSRs), and facial expressions were recorded and analyzed during two stages. First, during the automated driving stage, we found that drivers had lower heart rate variability, narrower horizontal gaze dispersion, and shorter eyes-on-road time when they had a high level of cognitive load relative to a low level of cognitive load. Second, during the takeover transition stage, 4s lead time led to inhibited blink numbers and larger maximum and mean GSR phasic activation compared to 7s lead time, whilst heavy traffic density resulted in increased HR acceleration patterns than light traffic density. Our results showed that psychophysiological measures can indicate specific internal states of drivers, including their workload, emotions, attention, and situation awareness in a continuous, non-invasive and real-time manner. The findings provide additional support for the value of using psychophysiological measures in automated driving and for future applications in driver monitoring systems and adaptive alert systems.

연구 동기 및 목표

• SAE 레벨 3 자동운전 전환 과정에서 비운전 관련 작업(NDRTs), 교통 밀도, 인수 요청( TOR) 유예 시간이 운전사의 심리생리적 상태에 미치는 영향를 조사하기 위해.
• 심박수 변동성(HRV), 전도성 피부 반응(GSR), 시선 행동, 얼굴 표정과 같은 심리생리적 측정치가 실시간으로 작업부하, 주의, 정서, 상황 인식의 변화를 감지할 수 있는지 평가하기 위해.
• 반응 시간, 사고 발생률 등의 행동적 인수 성능 지표를 보완하기 위해 지속적이고 비침습적인 내부 상태 모니터링을 통한 안전 예측 향상 목적으로.
• 미래의 운전자 모니터링 시스템 및 적응형 경고 시스템에 심리생리 신호를 활용할 수 있는지 타당성을 평가하기 위해.
• 인수 전환 과정에서 운전사 상태의 미세한 성능 이전 변화에 민감하게 반응하는 생리적 측정치의 실증적 증거를 제공하기 위해.

제안 방법

• 102명의 참가자가 다양한 조건(NDRTs: 2백 작업에 의한 저부하 대 고부하, 교통 밀도: 경량 대 혼잡, TOR 유예 시간: 4초 대 7초)에서 8회 인수 전환을 경험하는 고정기반 운전 시뮬레이터 연구를 수행하였다.
• 심박수(HR), 심박수 변동성(HRV), 전도성 피부 반응(GSR), 시선(수평 분산, 차선 유지 시간), 얼굴 표정의 연속적인 심리생리적 데이터를 수집하였다.
• 데이터 분석을 두 단계로 수행: (1) 자동운전 단계 및 (2) 인수 전환 단계로, 생리적 지표의 변화에 집중하였다.
• 반복 측정 분산분석과 주관적 평가와의 상관관계를 활용해 조건 간 생리적 반응을 비교하는 통계 분석을 실시하였다.
• 기존의 심리생리적 해석 프레임워크를 적용하여 신호를 인지 부하, 정서적 각성, 주의, 상황 인식과 연결하였다.
• 자기 보고 기반 상황 인식, 정서 상태와 생리적 데이터 간 상관관계 분 析를 통해 결과의 해석 가능성을 검증하였다.

Figure 1: The RTI fixed-base driving simulator.

실험 결과

연구 질문

• RQ1 NDRTs에 의해 유도된 다양한 수준의 인지 부하가 자동운전 중 운전사의 심리생리적 상태에 미치는 영향는 어떠한가?
• RQ2 TOR 유예 시간(4초 대 7초)이 인수 전환 과정에서 스트레스 및 주의의 생리적 지표에 미치는 영향는 어떠한가?
• RQ3 교통 밀도(경량 대 혼잡)가 인수 요청 시 심박수 가속 및 기타 자율신경 반응에 미치는 영향는 어떠한가?
• RQ4 심리생리적 측정치가 관찰 가능한 행동 변화 이전에 작업부하, 정서, 주의의 변화를 어느 정도 감지할 수 있는가?
• RQ5 심리생리적 신호가 향후 운전자 모니터링 또는 적응형 경고 시스템에 통합될 수 있는 신뢰할 수 있는 실시간 운전자 상태 지표로 기능할 수 있는가?

주요 결과

• 자동운전 단계에서 고부하(2백 작업)는 심박수 변동성을 감소시키고 수평 시선 분산을 좁히며, 이는 작업부하 증가와 시각적 스캐닝 감소를 나타낸다.
• 고부하 상태의 운전사는 차선 유지 시간이 짧아져 운전 환경에 대한 주의가 감소한 것으로 나타났다.
• 4초의 인수 요청 유예 시간은 7초 대비 유의적으로 높은 일시적 GSR 활성화(평균 및 최대값)를 유도하여 더 높은 정서적 각성과 스트레스를 나타낸다.
• 4초 유예 시간은 또한 전환 시작 시 기대되는 인지적 참여와 스트레스의 생리적 지표인 빛나는 빈도 감소를 유도한다.
• 혼잡한 교통 밀도는 경량 교통 대비 심박수 가속 패tern의 빈도가 유의미하게 높아져 인지 과부하 및 정보 처리 능력 저하를 시사한다.
• 심리생리적 측정치는 작업부하, 정서, 주의, 상황 인식의 지속적이고 실시간 지표를 제공하여 성능 저하가 발생하기 이전에 최적화되지 않은 운전자 상태를 조기에 감지할 수 있었다.

Figure 2: N-back memory task.