[논문 리뷰] Dynamics of Driver's Gaze: Explorations in Behavior Modeling & Maneuver Prediction.

Sujitha Martin, Sourabh Vora외 2명|arXiv (Cornell University)|2018. 01. 31.

Autonomous Vehicle Technology and Safety참고 문헌 20인용 수 6

한 줄 요약

이 논문은 자연주의 주행 데이터에서 유도된 시공간적 특징—시선 누적, 눈깜빡임 지속 시간, 눈깜빡임 빈도—를 사용하여 운전사의 시선 역학을 모델링하는 기계시각 프레임워크를 제안한다. 이러한 특징을 분석함으로써 모델은 1,000ms 이내로 사전에 좌우 차선 변경을 75% 이상의 정확도로 예측하며, 자동차의 운전사 의도 예측 및 제어 이행 관리에 강력한 예측 능력을 보여준다.

ABSTRACT

The study and modeling of driver's gaze dynamics is important because, if and how the driver is monitoring the driving environment is vital for driver assistance in manual mode, for take-over requests in highly automated mode and for semantic perception of the surround in fully autonomous mode. We developed a machine vision based framework to classify driver's gaze into context rich zones of interest and model driver's gaze behavior by representing gaze dynamics over a time period using gaze accumulation, glance duration and glance frequencies. As a use case, we explore the driver's gaze dynamic patterns during maneuvers executed in freeway driving, namely, left lane change maneuver, right lane change maneuver and lane keeping. It is shown that condensing gaze dynamics into durations and frequencies leads to recurring patterns based on driver activities. Furthermore, modeling these patterns show predictive powers in maneuver detection up to a few hundred milliseconds a priori.

연구 동기 및 목표

• 자연주의 주행 환경에서 운전사의 시선 역학을 모델링하기 위한 프레임워크를 개발하여 운전 보조 및 자동 제어 이행을 지원한다.
• 정확한 시선 분류를 위해 주행 환경 내 맥락이 풍부한 관심 영역을 식별한다.
• 특정 운전 행동 중 반복 패턴을 포착하는 시공간적 특징을 사용하여 시선 행동을 정량화한다.
• 실행 이전에 운전 행동 탐지에 대한 시선 역학의 예측 능력을 평가한다.
• 자동화된 차량에서 더 안전한 인간-기계 제어 이행을 위해 운전사 의도의 조기에 탐지 가능성을 확보한다.

제안 방법

• 프레임워크는 기계시각을 사용하여 운전사의 시선을 매크로적으로 정의된 정적 관심 영역(예: 거울, 센터 스택, 전방 도로)으로 분류한다.
• 시선 역학은 시간에 따라 세 가지 핵심 특징을 사용해 요약된다: 시선 누적(특정 영역에 머무른 총 시간), 눈깜빡임 지속 시간(개별 눈깜빡임의 길이), 눈깜빡임 빈도(단위 시간당 눈깜빡임 횟수).
• 모델은 다수의 운전사로부터 확보한 레이블이 부여된 자연주의 주행 데이터를 기반으로 학습되며, 차선 변경 및 차선 유지에 대한 참값 레이블이 포함되어 있다.
• 시선 행동 모델은 운전 행동 이벤트 주변의 시간 창 분석을 통해 평가되며, 재현율 및 모델 신뢰도 지표를 사용해 성능을 측정한다.
• 차선 변경 이벤트 이전의 다양한 시간 지연에서의 예측 정확도를 평가하기 위해 순차적 창 적용 기법을 적용한다.
• 모델 적합도는 운전사 및 운전 행동에 따라 신뢰도 점수의 평균과 표준편차를 사용해 정량화한다.

실험 결과

연구 질문

• RQ1 시선 누적, 눈깜빡임 지속 시간, 눈깜빡임 빈도는 고속도로 운전 중 반복 패턴을 효과적으로 포착할 수 있는가?
• RQ2 시선 역학은 차선 변경 발생 이전에 얼마나 정확하게 좌우 차선 변경을 예측할 수 있는가?
• RQ3 시선 누적이 눈깜빡임 지속 시간 및 빈도보다 더 낮은 개인 간 변동성을 보이며 운전 행동 예측에서 슈퍼어리어를 보일 수 있는가?
• RQ4 유사한 운전 행동 중에서 운전사 간의 시선 행동 패턴은 어떻게 다를 수 있으며, 이러한 모델은 개인 간 일반화가 가능한가?
• RQ5 시선 기반 모델은 자동화된 주행 시스템에서 제어 이행을 위한 운전사 의도 조기 탐지에 얼마나 기여할 수 있는가?

주요 결과

• 시선 누적만으로도 차선 변경 발생 1,000ms 이내로 좌우 차선 변경 예측 정확도가 75% 이상을 기록했다.
• 눈깜빡임 지속 시간만을 사용한 모델링은 약 60%의 정확도를 기록했고, 지속 시간과 빈도를 병합한 경우 정확도는 40%에 불과해, 이 특징들이 운전사 간에 높은 변동성을 보임을 시사한다.
• 시선 누적 특징은 주의 할당의 집계로 인해 개인 간 변동성이 감소하여, 다양한 운전사에 대해 더 뛰어난 강건성을 보였다.
• 좌우 차선 변경을 위한 모델는 차선 유지 모델과 명확히 분리되어 있었으며, 정확한 운전 행동 예측에 대해 강력한 신뢰도를 보였다.
• 정확한 모델의 신뢰도가 운전사 및 운전 행동 유형에 따라 이른 시점 또는 늦은 시점에 최고치에 도달했지만, 전체적으로는 모든 피험자에서 정확한 모델의 우세함이 일관되게 유지되었다.
• 프레임워크는 특정 운전 행동과 연결된 반복적인 시선 역학을 성공적으로 포착하여 운전사 의도의 신뢰할 수 있는 예측를 가능하게 하였다.