[논문 리뷰] Driver Gaze Estimation Without Using Eye Movement

Lex Fridman, Philipp Langhans외 2명|arXiv (Cornell University)|2015. 07. 16.

Gaze Tracking and Assistive Technology참고 문헌 14인용 수 12

한 줄 요약

이 논문은 직접적인 눈 추적 대신 얼굴 특징 검출과 머리 자세 분류를 사용하는 실시간 운전자 시선 추정 시스템을 제안한다. 얼굴 특징의 공간적 구성이 여섯 개의 시선 영역으로 분류되며, 50명의 운전자를 대상으로 한 도로 주행 데이터셋에서 11 Hz에서 91.4%의 정확도를 달성하여 어려운 시각 조건에서도 기존 눈 추적 기술에 비해 강건한 대안을 제공한다.

ABSTRACT

Abstract—Automated estimation of the allocation of adriver’s visual attention may be a critical component offuture Advanced Driver Assistance Systems. In theory,vision-based tracking of the eye can provide a good estimateof gaze location. In practice, eye tracking from videois challenging because of sunglasses, eyeglass reflections,lighting conditions, occlusions, motion blur, and otherfactors. Estimation of head pose, on the other hand, isrobust to many of these effects, but cannot provide as fine-grained of a resolution in localizing the gaze. However,for the purpose of keeping the driver safe, it is sufficientto partition gaze into regions. In this effort, we proposea system that extracts facial features and classifies theirspatial configuration into six regions in real-time. Ourproposed method achieves an average accuracy of 91.4%at an average decision rate of 11 Hz on a dataset of 50drivers from an on-road study.Index Terms—Head pose estimation, gaze tracking, driverdistraction, driver assistance systems, on-road study.

연구 동기 및 목표

• 눈 움직임 추적에 의존하지 않는 강건한 운전자 시선 추정 시스템을 개발하는 것.
• 안경 반사 및 불량한 조명과 같은 기존 눈 추적 기술의 한계를 해결하는 것.
• 시각적 주의 분포를 추정하여 고도화된 운전자 보조 시스템의 안전성을 향상시키는 것.
• 단지 얼굴 특징 구성만을 사용하여 높은 정확도로 시선을 이산 영역으로 분류하는 것.
• 도로 주행에 적합한 실시간 성능을 달성하는 것.

제안 방법

• 시스템은 실시간 얼굴 랜드마크 검출 알고리즘을 사용하여 핵심 얼굴 특징을 검출한다.
• 이러한 얼굴 특징의 공간적 구성이 여섯 개의 사전 정의된 시선 영역으로 분류된다.
• 머리 자세 추정을 시선 위치 결정의 대체 수단으로 사용하여 직접적인 눈 추적을 피한다.
• 시선 방향을 추론하기 위해 얼굴 랜드마크 간 기하학적 관계를 활용한다.
• 머신러닝 분류기가 얼굴 특징 구성에서 시선 영역으로 매핑하기 위해 훈련된다.
• 시스템은 평균 11 Hz의 결정 속도로 작동하여 실시간 성능를 확보한다.

실험 결과

연구 질문

• RQ1 눈 추적 없이도 얼굴 특징 구성이 운전자 시선을 신뢰성 있게 추정하는 데 사용될 수 있는가?
• RQ2 머리 자세와 얼굴 랜드마크만을 사용하여 시선을 이산 영역으로 얼마나 정확히 분류할 수 있는가?
• RQ3 시각적 장애물이 존재하는 실제 도로 주행 조건에서 시스템의 성능은 어떠한가?
• RQ4 고정밀도의 시선 영역 분류를 달성하면서도 실시간 작동을 유지할 수 있는가?
• RQ5 환경적 요인에 대한 내성 면에서 기존 눈 추적 기술과 비교해 본다면 이 방법은 어떠한가?

주요 결과

• 제안된 시스템은 여섯 개의 시선 영역으로 운전자 시선을 분류하는 데 평균 91.4%의 정확도를 달성한다.
• 시스템은 평균 결정 속도가 11 Hz로 실시간 응용에 적합하다.
• 안경 반사와 조명 변화와 같은 눈 추적 기술의 일반적인 과제에 대해 강건함을 입증한다.
• 실제 도로 주행 연구에서 다양한 50명의 운전자를 대상으로도 시선 추정 정확도가 유지된다.
• 얼굴 특징 기하학과 머리 자세를 사용하여 직접적인 눈 추적을 효과적으로 대체하는 방법이다.