[논문 리뷰] Driver Gaze Region Estimation Without Using Eye Movement

Lex Fridman, Philipp Langhans외 2명|arXiv (Cornell University)|2015. 07. 16.

Gaze Tracking and Assistive Technology참고 문헌 13인용 수 11

한 줄 요약

이 논문은 눈동자 추적 기술을 사용하지 않고 얼굴의 특징점 위치만을 이용하여 실시간으로 운전자의 시선 영역을 추정하는 시스템을 제안한다. 머리 자세의 구성 요소를 6개의 시선 영역으로 분류함으로써 11Hz에서 91.4%의 정확도를 달성한다. 이 방법은 개인별 모델과 신뢰도 기반 결정 정제 기법을 활용하여 전역 모델 대비 성능을 크게 향상시킨다.

ABSTRACT

Automated estimation of the allocation of a driver's visual attention may be a critical component of future Advanced Driver Assistance Systems. In theory, vision-based tracking of the eye can provide a good estimate of gaze location. In practice, eye tracking from video is challenging because of sunglasses, eyeglass reflections, lighting conditions, occlusions, motion blur, and other factors. Estimation of head pose, on the other hand, is robust to many of these effects, but cannot provide as fine-grained of a resolution in localizing the gaze. However, for the purpose of keeping the driver safe, it is sufficient to partition gaze into regions. In this effort, we propose a system that extracts facial features and classifies their spatial configuration into six regions in real-time. Our proposed method achieves an average accuracy of 91.4% at an average decision rate of 11 Hz on a dataset of 50 drivers from an on-road study.

연구 동기 및 목표

• 실제 환경에서의 반사, 조도, 가림 등의 제약으로 인해 눈동자 추적 기술에 의존하지 않는 내구성 있고 저비용의 운전자 시선 추정 시스템을 개발하기 위해.
• 얼굴 특징점에서 유도된 머리 자세만으로도 운전자의 시선 영역을 충분히 정확하게 예측할 수 있는지 조사하기 위해.
• 개인별 모델과 신뢰도 기반 결정 필터링 기법이 시선 분류 성능 향상에 얼마나 효과적인지 평가하기 위해.
• 소비자용 하드웨어에서 실시간으로 이러한 시스템을 구현할 수 있는지의 가능성을 규명하기 위해.

제안 방법

• 시스템은 회귀 트리 기반의 얼굴 정렬 알고리즘을 통해 실시간으로 2차원 얼굴 특징점을 추정한다.
• 이 특징점의 공간적 구성이 랜덤 포레스트 분류기로 사전 정의된 6개의 시선 영역 중 하나로 분류된다.
• 개인의 머리-눈 조율 방식의 차이를 반영하기 위해 각 운전자당 각 시선 영역에 대해 3초간의 데이터로 사용자별 모델을 학습한다.
• 신뢰도 기반 결정 정제 기법을 적용한다: 임계값 이상의 신뢰도를 가진 분류 결과만 유지함으로써 정확도를 향상시키지만, 결정 빈도는 감소한다.
• 프로세서는 단일 코어 Intel i5를 사용하여 프레임당 10ms 이내로 처리가 가능하여 실시간 동작이 가능하다.
• 명시적인 머리 자세 벡터 추정을 생략하고, 얼굴 기하학적 구조를 직접적으로 시선 영역 레이블로 매핑한다.

실험 결과

연구 질문

• RQ1 눈동자 움직임이나 동공 추적 없이도 얼굴 특징점 구성만으로도 운전자의 시선 영역을 높은 정확도로 예측할 수 있는가?
• RQ2 전역 모델과 개인별 모델의 성능을 비교했을 때, 시선 영역 분류 성능에 어떤 차이가 있는가?
• RQ3 분류 결정에 대해 신뢰도 기반 필터링을 적용했을 때 정확도 향상 정도는 어느 정도인가?
• RQ4 다른 사람 간과 한 사람의 다양한 운전 조건에서 머리 움직임과 시선 간의 관계는 어떻게 달라지는가?

주요 결과

• 제안된 시스템은 얼굴 특징점 데이터만을 사용하여 6개의 시선 영역으로 분류하는 데 평균 91.4%의 정확도를 달성하였고, 결정 주기는 11Hz이다.
• 사용자 기반 모델은 전역 모델의 44.1%에서부터 65.0%로 정확도를 향상시켜 머리-눈 조율의 개인별 변동성이 뚜렷하게 드러났다.
• 신뢰도 기반 정제 기법을 적용함으로써 6개 클래스 문제에서는 정확도가 91.4%로 향상되었고, 2개 클래스 문제에서는 92.5%로 상승했으며, 평균 결정 간격은 약간 증가하였다.
• 2개 클래스 문제(운전 관련 vs. 센터 스택 시선)는 6개 클래스 분류보다 더 높은 정확도를 기록하여, 더 단순한 구분은 더 신뢰성 있게 예측된다는 것을 시사한다.
• 성능은 운전자 간 및 동일 운전자 내에서 다양한 조건에서 크게 달라지며, 개인 맞춤화의 중요성을 강조한다.
• 전체 파이프라인은 소비자용 하드웨어에서 실시간으로 동작하며, 각 구성 요소(얼굴 검출, 정렬, 분류)가 프레임당 10ms 이내로 완료된다.