[논문 리뷰] EyeCar: Modeling the Visual Attention Allocation of Drivers in Semi-Autonomous Vehicles

Sonia Baee, Erfan Pakdamanian외 4명|arXiv (Cornell University)|2019. 12. 17.

Human-Automation Interaction and Safety참고 문헌 42인용 수 6

한 줄 요약

이 논문은 실제 후방 추돌 사고 시나리오에서 수집한 눈운동 데이터를 활용하여 반자율 주행 차량의 수동 운전자의 시각적 주의 분배를 모델링하기 위해 강화학습 및 역강화학습 프레임워크를 제안한다. 결과적으로 숙련된 운전자는 더 적응적인 고정 패턴을 보이며, 동적 위험 요소에 더 일찍 집중함으로써 상황 인식 능력 향상과 위험 조기 탐지가 가능하다는 것이 드러났다.

ABSTRACT

A safe transition between autonomous and manual control requires sustained visual attention of the driver for the perception and assessment of hazards in dynamic driving environments. Thus, drivers must retain a certain level of situation awareness to safely takeover. Understanding the visual attention allocation of drivers can pave the way for inferring their dynamic state of situational awareness. We propose a reinforcement and inverse-reinforcement learning framework for modeling passive drivers' visual attention allocation in semi-autonomous vehicles. The proposed approach measures the eye-movement of passive drivers to evaluate their responses to real-world rear-end collisions. The results show substantial individual differences in the eye fixation patterns by driving experience, even among fully attentive drivers. Experienced drivers were more attentive to the situational dynamics and were able to identify potentially hazardous objects before any collisions occurred. These models of visual attention could potentially be integrated into autonomous systems to continuously monitor and guide effective intervention. Keywords: Visual attention allocation; Situation awareness; Eye movements; Eye fixation; Eye-Tracking; Reinforcement Learning; Inverse Reinforcement Learning

연구 동기 및 목표

• 동적 주행 상황에서 반자율 주행 차량의 운전자가 어떻게 시각적 주의를 분배하는지 이해하기 위해.
• 수동 운전자의 시각적 주의를 강화학습 및 역강화학습 프레임워크를 활용해 모델링하기 위해.
• 운전 경험의 영향을 바탕으로 충돌 가능 사건 동안 눈 고정 패턴과 상황 인식 능력의 변화를 평가하기 위해.
• 위험 탐지 능력과 관련된 시각적 주의 분배의 측정 가능한 차이를 규명하기 위해.
• 자율 주행 시스템이 실시간 주의 모델링을 통해 운전자의 개입을 모니터링하고 이끌 수 있도록 하기 위해.

제안 방법

• 반자율 주행 차량 내 운전자의 눈운동 데이터를 후방 추돌 시나리오 시뮬레이션 중 수집하였다.
• 동적 주행 조건 하에서 관측된 눈 고정 패턴을 최적 정책으로 모델링하기 위해 강화학습 프레임워크를 훈련시켰다.
• 관측된 눈운동 데이터에서 주의 분배를 이끄는 잠재적 보상 함수를 추론하기 위해 역강화학습 접근법을 적용하였다.
• 프레임워크는 운전 경험과 상황 역학에 따라 주의 패턴의 차이를 식별하였다.
• 충돌 사건 이전에 위험 물체의 조기 탐지를 식별하기 위해 고정 시퀀스를 분석하였다.
• 실제 주행 데이터를 활용해 동적 위협에 대한 주의 이동 예측 능력을 평가하기 위해 모델을 검증하였다.

실험 결과

연구 질문

• RQ1 운전 경험은 반자율 주행 차량 내 시각적 주의 분배에 어떻게 영향을 미치는가?
• RQ2 충돌 사건 이전에 조기 위험 탐지와 관련된 눈 고정 패턴은 무엇인가?
• RQ3 강화학습 및 역강화학습이 동적 주행 환경에서 수동 운전자의 시각적 주의를 효과적으로 모델링할 수 있는가?
• RQ4 잠재적 후방 추돌 상황에서 숙련된 운전자와 경험이 적은 운전자 간의 주의 패턴은 어떻게 다를까?
• RQ5 시각적 주의 모델은 상황 인식 능력과 타이밍에 따른 인식 준비 상태를 어느 정도 예측할 수 있는가?

주요 결과

• 숙련된 운전자는 충돌 발생 이전에 돌진하는 차량이나 갑작스러운 감속과 같은 동적 위험 요소에 더 일찍이고 일관성 있게 고정하는 경향을 보였다.
• 완전히 집중된 운전자 간에도 눈 고정 패턴에 상당한 개인적 차이가 관찰되어 경험의 역할이 주의 분배에 미치는 영향을 강조한다.
• 경험이 많은 운전자는 충돌 이전에 잠재적인 위험 물체를 식별할 수 있었으며, 이는 더 높은 상황 인식 능력을 시사한다.
• 역강화학습 모델은 안전 운전 행동과 일치하는 주의 전략을 반영하는 보상 함수를 성공적으로 추론하였다.
• 프레임워크는 효과적인 위험 인식과 관련된 주의 패턴을 식별할 수 있었으며, 자율 주행 시스템에서 실시간 모니터링 가능성에 기여한다.
• 눈운동 데이터 분석 결과, 특히 고위험 상황에서 숙련된 운전자는 핵심 환경 신호에 더 전략적으로 주의를 기울이는 것으로 나타났다.