[논문 리뷰] Behavioral Research and Practical Models of Drivers' Attention

Iuliia Kotseruba, John K. Tsotsos|arXiv (Cornell University)|2021. 04. 12.

Human-Automation Interaction and Safety참고 문헌 446인용 수 4

한 줄 요약

이 논문은 지난 10년간의 연구를 종합하여 운전자의 시각적 주의 분포에 영향을 미치는 내재적(예: 연령, 경력) 및 외재적(예: 자동화, 산만함) 요인을 분석하기 위해 175项 이상의 행동 연구와 100편 이상의 실무 논문을 통합한다. 현재 주의 모델링의 주요 한계—작업 표현 부족, 안전성 검증 부족, 인지 모델링 한계—를 규명하고, 인간의 주의 패턴과 일치하는 방식으로 운전자 모니터링, ADAS 및 고도로 자동화된 주행 시스템을 향상시키기 위한 다학문적 프레임워크를 제안한다.

ABSTRACT

Driving is a routine activity for many, but it is far from simple. Drivers deal with multiple concurrent tasks, such as keeping the vehicle in the lane, observing and anticipating the actions of other road users, reacting to hazards, and dealing with distractions inside and outside the vehicle. Failure to notice and respond to the surrounding objects and events can cause accidents. The ongoing improvements of the road infrastructure and vehicle mechanical design have made driving safer overall. Nevertheless, the problem of driver inattention has remained one of the primary causes of accidents. Therefore, understanding where the drivers look and why they do so can help eliminate sources of distractions and identify unsafe attention patterns. Research on driver attention has implications for many practical applications such as policy-making, improving driver education, enhancing road infrastructure and in-vehicle infotainment systems, as well as designing systems for driver monitoring, driver assistance, and automated driving. This report covers the literature on changes in drivers' visual attention distribution due to factors, internal and external to the driver. Aspects of attention during driving have been explored across multiple disciplines, including psychology, human factors, human-computer interaction, intelligent transportation, and computer vision, each offering different perspectives, goals, and explanations for the observed phenomena. We link cross-disciplinary theoretical and behavioral research on driver's attention to practical solutions. Furthermore, limitations and directions for future research are discussed. This report is based on over 175 behavioral studies, nearly 100 practical papers, 20 datasets, and over 70 surveys published since 2010. A curated list of papers used for this report is available at \url{https://github.com/ykotseruba/attention_and_driving}.

연구 동기 및 목표

• 운전자의 시각적 주의 분포에 영향을 미치는 주요 요인—내재적(예: 연령, 경험) 및 외재적(예: 자동화, 산만함)—을 규명하고 통합한다.
• 심리학 및 인간공학 분야의 행동 연구와 ADAS, DMS, 자율주행 시스템 등 실무적 응용 간 격차를 메운다.
• 현재 주의 모델링의 핵심적 한계—작업 표현 부족, 안전성 검증 부족, 인지 모델링 부족—를 해결한다.
• 지능형 교통 시스템에서 더 신뢰성 있고 투명하며 안전 중심의 주의 모델 개발을 위한 다학문적 기반을 제공한다.
• 시선 기반 주의 모델링의 열린 문제, 데이터 불일치, 방법론적 결함을 규명함으로써 향후 연구를 이끌어낸다.

제안 방법

• 지난 10년간의 175편의 행동 연구, 100편의 실무 논문, 20개의 데이터셋, 70개의 설문 조사에 대한 체계적 문헌 리뷰.
• 심리학, 인간공학, 인터페이스 인간-컴퓨터 상호작용, 컴퓨터 비전, 지능형 교통 시스템 등 다양한 분야의 연구 결과 통합.
• 실제 주행 환경에서의 신뢰성과 한계를 비판적으로 평가하면서도, 주의의 대체 지표로 눈동자 추적 데이터를 활용.
• AI 및 컴퓨터 비전 분야의 주의 모델링 접근 방식 분석—상향식 작업 맥락과 인지 제약을 반영하지 못함.
• 주의 일치 관점에서 현재의 ADAS 및 DMS 시스템 평가—경고 설계 및 맥락 인식 적응성 부족을 드러냄.
• 미래의 모델을 위한 제안 프레임워크—작업 기반 주의, 인지 자원 할당, 순차적 처리를 강조하며, 투명성과 안전성 검증에 중점을 둠.

실험 결과

연구 질문

• RQ1 운전 경험, 연령, 피로도 등의 내재적 요인이 운전자의 시각적 주의 분포에 어떻게 영향을 미치는가?
• RQ2 차량 내 인포테인먼트, 도로변 광고판, 차량 자동화 등의 외재적 요인이 주의 분배에 어느 정도 영향을 미치는가?
• RQ3 고정밀도 시선 예측 성능을 보이지만도 자율주행에서 AI 기반 주의 모델이 인간과 유사한 주의 패턴을 재현하지 못하는 이유는 무엇인가?
• RQ4 주의 모델링에 사용되는 시선 데이터셋의 수집, 처리, 검증 과정에서 나타나는 주요 방법론적 결함은 무엇인가?
• RQ5 운전자의 인지 과정과 의사결정 방식과 일치하도록 주의 모델을 어떻게 개선하여 협업 기반 운전 보조 및 안전한 자동화를 지원할 수 있는가?

주요 결과

• 운전자의 주의 산만함은 사고의 주요 원인으로 남아 있으며, 차량 내 인포테인먼트나 동적인 도로변 광고판 등으로 인한 산만함이 주의 분배를 심각하게 저해한다.
• 시선은 주의의 강력한 지표이지만 완전하지 않으며, 많은 연구에서 시선 데이터를 행동 또는 제어 데이터로 검증하지 않아 모호한 결론을 이끌어낸다.
• 대부분의 현재 AI 기반 주의 모델은 명시적 작업 표현보다는 자극성과 암묵적 종속성에 초점을 맞추고 있어, 설명 가능성과 안전 활용도가 제한된다.
• 다수의 주의 모델이 운전 경험이나 환경적 맥락을 고려하지는 않지만, 이러한 요소가 주의 패턴과 강하게 연관되어 있음이 경험적 증거로 입증되어 있다.
• 기존 ADAS 시스템은 운전자의 주의 상태나 장면 맥락을 고려하지 않는 고정형 비디오-청각 경고(예: 음향-촉각)에 의존하여 효과가 떨어진다.
• 주의 모델의 시뮬레이션 기반 검증은 실제 환경 검증이 부족하고, 사고 데이터셋 대부분이 운전자의 시선 데이터를 포함하지 않아 더 나은 주의가 사고를 방지했을지 평가할 수 없다.