[논문 리뷰] TabletGaze: Unconstrained Appearance-based Gaze Estimation in Mobile Tablets

Qiong Huang, Ashok Veeraraghavan외 1명|arXiv (Cornell University)|2015. 08. 05.

Gaze Tracking and Assistive Technology참고 문헌 45인용 수 35

한 줄 요약

이 논문은 校정 없이 사용자 제약 없이, 전면 카메라만을 사용하여 모바일 태블릿에서 외관 기반의 시선 추정을 수행하는 TabletGaze를 제안한다. 새로 수집한 비제약 조건 데이터셋(Rice TabletGaze)을 바탕으로 다중 수준의 HOG 특징과 Random Forest 회귀기를 활용하여 다양한 사용자와 자세에서 평균 오차 3.17 cm의 시선 추정 성능을 달성한다.

ABSTRACT

We study gaze estimation on tablets, our key design goal is uncalibrated gaze estimation using the front-facing camera during natural use of tablets, where the posture and method of holding the tablet is not constrained. We collected the first large unconstrained gaze dataset of tablet users, labeled Rice TabletGaze dataset. The dataset consists of 51 subjects, each with 4 different postures and 35 gaze locations. Subjects vary in race, gender and in their need for prescription glasses, all of which might impact gaze estimation accuracy. Driven by our observations on the collected data, we present a TabletGaze algorithm for automatic gaze estimation using multi-level HoG feature and Random Forests regressor. The TabletGaze algorithm achieves a mean error of 3.17 cm. We perform extensive evaluation on the impact of various factors such as dataset size, race, wearing glasses and user posture on the gaze estimation accuracy and make important observations about the impact of these factors.

연구 동기 및 목표

• 교정 또는 통제된 사용자 자세가 필요 없이 모바일 태블릿에서 시선 추정을 가능하게 하기 위해.
• 다양한 사용자 인구 통계 및 자세를 촬영한 첫 번째 대규모 비제약 조건 시선 데이터셋(Rice TabletGaze)을 수집하고 공개하기 위해.
• 다양한 조명, 눈 모양, 안경 착용 여부 및 사용자 자세에서도 작동하는 강력한 외관 기반의 시선 추정 알고리즘을 개발하기 위해.
• 데이터셋 크기, 인종, 안경 착용 여부, 자세가 시선 추정 정확도에 미치는 영향을 평가하기 위해.
• 손가락 없는 상호작용 및 행동 분석과 같은 애플리케이션에 적합한 실시간, 디바이스 내 시선 추정을 가능하게 하기 위해.

제안 방법

• 51명의 참가자, 4가지 자세, 참가자당 35개의 시선 위치를 포함한 대규모 비제약 조건 시선 데이터셋(Rice TabletGaze)을 수집하였다.
• 전면 카메라 이미지에서 눈을 국소화하기 위해 캐스케이드 눈 검출기를 사용하였다.
• 자르기로 확보한 눈 영역에서 다중 수준의 방향 기반 히스토GRAM(mHoG) 특징을 추출하였다.
• mHoG 특징의 차원을 줄이기 위해 선형 판별 분 析(LDA)를 적용하였다.
• LDA로 감소된 특징을 기반으로 2차원 시선 위치를 예측하기 위해 Random Forest 회귀기를 훈련시켰다.
• 성능 평가에 대해 한 참가자를 제외한 교차 검증을 적용하였고, 시선 예측의 시간적 변동성을 줄이기 위해 양방향 필터를 적용하였다.

실험 결과

연구 질문

• RQ1 교정 없이 사용자 제약 없이 모바일 태블릿에서 외관 기반의 시선 추정은 얼마나 정확할 수 있는가?
• RQ2 비제약 조건 환경에서 사용자 인구 통계(예: 인종, 안경 착용 여부)가 시선 추정 정확도에 어떤 영향을 미치는가?
• RQ3 다양한 사용자 자세(站着, 앉아서, 휘어져 앉기, 눕기)는 시선 추정 성능에 어떤 영향을 미치는가?
• RQ4 비제약 조건 태블릿 시선 추정에 가장 적합한 특징 표현 방식과 회귀 모델 조합은 무엇인가?
• RQ5 눈 중심과 크기 특징을 통해 암시적인 머리 자세 정보를 활용하면 시선 추정 정확도가 향상되는가?

주요 결과

• TabletGaze 알고리즘은 태블릿 화면에서 비제약 조건 사용에 대해 평균 오차 3.17 ± 2.10 cm의 높은 정확도를 달성하였다.
• 알고리즘은 다양한 사용자 인구 통계(다른 인종, 처방 안경 착용자 포함)에서도 강력한 성능을 유지하였다.
• 눈 중심과 크기 특징을 머리 자세의 대체 지표로 도입했지만 정확도 향상에 유의미한 영향을 주지 못했으며, 직접 특징 추가의 이점이 제한적임을 시사하였다.
• 양방향 필터는 시선 예측의 시간적 변동성을 효과적으로 줄여 정확도를 유지하면서도 부드러움을 향상시켰다.
• Rice TabletGaze 데이터셋은 얼굴 가림, 자세 변화, 안경의 렌즈 반사와 같은 핵심 과제를 드러내었으며, 이는 추정 신뢰도에 영향을 미친다.
• 광범위한 추론 분석을 통해 mHoG와 Random Forest 조합이 다른 특징-회귀 모델 조합보다 우수한 성능을 보이며, 이 작업에 효과적임을 확인하였다.