[논문 리뷰] TabletGaze: A Dataset and Baseline Algorithms for Unconstrained Appearance-based Gaze Estimation in Mobile Tablets.

Qiong Huang, Ashok Veeraraghavan외 1명|arXiv (Cornell University)|2015. 08. 05.

Gaze Tracking and Assistive Technology참고 문헌 30인용 수 18

한 줄 요약

이 논문은 모바일 태블릿을 위한 최초의 대규모 비제약적 시선 추정 데이터셋인 Rice TabletGaze 데이터셋을 소개하고, 다중 수준 HOG 특징과 랜덤 포레스트 회귀기를 사용하는 TabletGaze 알고리즘을 제안한다. 비교적 캘리브레이션되지 않은 자연스러운 태블릿 사용 환경에서 평균 오차가 3.17 cm에 이를 정도로 뛰어난 성능을 보이며, 사용자 인구통계학적 특성과 자세의 영향에 대한 광범위한 분석을 수행한다.

ABSTRACT

We study gaze estimation on tablets; our key design goal is uncalibrated gaze estimation using the front-facing camera during natural use of tablets, where the posture and method of holding the tablet is not constrained. We collected the first large unconstrained gaze dataset of tablet users, labeled Rice TabletGaze dataset. The dataset consists of 51 subjects, each with 4 different postures and 35 gaze locations. Subjects vary in race, gender and in their need for prescription glasses, all of which might impact gaze estimation accuracy. Driven by our observations on the collected data, we present a baseline algorithm for automatic gaze estimation using multi-level HoG feature and Random Forests regressor. The TabletGaze algorithm achieves a mean error of 3.17 cm. We perform extensive evaluation on the impact of various factors such as dataset size, race, wearing glasses and user posture on the gaze estimation accuracy and make important observations about the impact of these factors.

연구 동기 및 목표

• 자연스럽고 비제약적인 사용 환경에서 모바일 태블릿에서 캘리브레이션되지 않은 시선 추정 문제를 해결하기 위해.
• 사용자의 자세, 인종, 성별, 시력 보정 렌즈 착용 여부 등의 실제 세계의 다양성을 반영한 대규모이고 다양한 데이터셋을 수집하기 위해.
• 사용자별 캘리브레이션 없이도 인구통계학적 및 자세적 다양성에 일반화되는 기초 알고리즘 개발을 위해.
• 데이터셋 크기, 인종, 안경 착용 여부, 자세가 시선 추정 정확도에 미치는 영향을 평가하기 위해.

제안 방법

• 태블릿의 전면 카메라를 사용하여 51명의 피험자로부터 4가지 다른 자세와 35개의 시선 위치에서 시선 데이터를 수집하였다.
• 눈 부위 영상에서 공간적 및 텍스처 패턴을 추출하기 위해 다중 수준 히스토GRAM 오브 오리엔티드 그레디언트(HOG) 특징을 사용하였다.
• HOG 특징을 기반으로 랜덤 포레스트 회귀기를 훈련시켜 태블릿 화면 기준 시선 위치를 센티미터 단위로 예측하였다.
• 사용자 중 안경 착용자와 비착용자를 포함하고 다양한 인종 및 성별 배경을 반영한 데이터셋을 설계하였다.
• 더 나은 회귀 성능을 위해 국소적 및 전반적인 눈 외관 특징을 모두 캡처하기 위해 다중 척도 HOG 접근 방식을 적용하였다.
• 다양한 조건에서 모델 성능을 평가하기 위해 데이터셋 크기와 사용자 하위군을 변화시켜 복잡성과 일반화 능력을 분석하였다.

실험 결과

연구 질문

• RQ1 비제약적인 태블릿 사용 환경에서 다양한 사용자 자세에 따라 시선 추정 정확도는 어떻게 달라지는가?
• RQ2 인종과 성별의 다양성이 비제약적 환경에서 시선 추정 성능에 어떤 영향을 미치는가?
• RQ3 시력 보정 안경 착용 여부가 시선 추정 정확도에 영향을 미치며, 모델은 이 하위군에 대해 일반화 가능한가?
• RQ4 제안된 알고리즘으로 안정적인 성능을 달성하기 위해 필요한 최소 데이터셋 크기는 얼마인가?
• RQ5 이러한 맥락에서 다중 수준 HOG 특징과 랜덤 포레스트 회귀기는 다른 특징 엔지니어링 및 학습 접근 방식과 비교해 어떻게 성능을 내는가?

주요 결과

• TabletGaze 알고리즘은 Rice TabletGaze 데이터셋에서 비제약적 조건에서도 평균 오차 3.17 cm를 기록하며 뛰어난 성능을 보였다.
• 사용자 자세는 추정 정확도에 상당한 영향을 미치며, 일부 자세는 가림과 시야 각도 변화로 인해 더 높은 오차를 유발한다.
• 모델은 인종 및 성별 그룹 간에 뛰어난 내성성을 보였지만, 미세한 성능 차이가 관찰되어 다양성이 반영된 훈련 데이터의 필요성을 강조한다.
• 시력 보정 안경 착용자 그룹은 약간 더 높은 추정 오차를 보이며, 렌즈 반사 및 눈 모양 왜곡을 개선한 모델링이 필요함을 시사한다.
• 데이터셋 크기를 늘릴수록 성능 향상이 관찰되었으며, 특정 임계값을 초과하면 수익 감소 현상이 나타나 효율적인 데이터 활용 가능성을 시사한다.
• 다중 수준 HOG 특징 표현 방식이 단일 척도 특징보다 우수했으며, 특히 사용자 간 미세한 눈 외관 변화를 보다 잘 포착하는 데 유리했다.