[논문 리뷰] Highly accurate gaze estimation using a consumer RGB-depth sensor

Reza Shoja Ghiass, Ognjen Arandjelović|arXiv (Cornell University)|2016. 04. 05.

Gaze Tracking and Assistive Technology참고 문헌 28인용 수 4

한 줄 요약

이 논문은 Microsoft Kinect과 같은 소비자용 RGB-D 센서를 사용하여 고정도의 시선 추정 방법을 제안한다. 속도와 정확도를 동시에 확보하기 위해 적응형 최적화 전략을 사용하여 깊이 데이터에 개인화된 3D 형태 조정 가능 얼굴 모델을 적합한 후, 일관된 눈의 외관 특징 추출을 위해 얼굴를 정면 시점으로 정규화하고, 그 다음 이러한 합성 정면 눈 이미지에서 시선 방향을 회귀 분석하여, EYEDIAP 벤치마크에서 이전 최고 성능 기준보다 30% 이상 뛰어난 성능을 달성한다.

ABSTRACT

Determining the direction in which a person is looking is an important problem in a wide range of HCI applications. In this paper we describe a highly accurate algorithm that performs gaze estimation using an affordable and widely available device such as Kinect. The method we propose starts by performing accurate head pose estimation achieved by fitting a person specific morphable model of the face to depth data. The ordinarily competing requirements of high accuracy and high speed are met concurrently by formulating the fitting objective function as a combination of terms which excel either in accurate or fast fitting, and then by adaptively adjusting their relative contributions throughout fitting. Following pose estimation, pose normalization is done by re-rendering the fitted model as a frontal face. Finally gaze estimates are obtained through regression from the appearance of the eyes in synthetic, normalized images. Using EYEDIAP, the standard public dataset for the evaluation of gaze estimation algorithms from RGB-D data, we demonstrate that our method greatly outperforms the state of the art.

연구 동기 및 목표

• 저비용의 소비자용 RGB-D 센서를 사용한 시선 추정에서 높은 정확도와 실시간 성능를 동시에 달성하는 데 도전한다.
• 사용자 캘리브레이션을 필요로 하며 RGB 데이터에만 의존하는 전통적 시선 추정 방법의 한계를 극복한다.
• 깊이 데이터와 개인화된 3D 형태 조정 가능 얼굴 모델을 활용한 빠르고 정확한 헤드 포즈 추정 기법을 개발한다.
• 합성 정면 렌더링을 통한 헤드 포즈 정규화를 통해 자연스러운 헤드 움직임 상황에서도 정확한 시선 추정을 가능하게 한다.
• 정규화된 눈 이미지에서 외관 기반의 회귀를 활용하여 일반화 능력을 향상시키고 시선 추정 오차를 감소시킨다.

제안 방법

• 반복 최소 거리(Iterative Closest Point, ICP) 유사 최적화 프레임워크를 사용하여 깊이 데이터에 개인 맞춤형 3D 형태 조정 가능 얼굴 모델을 적합한다.
• 정확도와 속도를 균형 잡는 항목들의 조합으로 최적화 목표를 설정하고, 최적화 과정에서 적응형 가중치를 적용하여 성능 유지를 동시에 효율성 확보한다.
• 적합된 3D 얼굴 모델을 재렌더링하여 합성 정면 이미지로 변환함으로써 헤드 포즈 정규화를 수행하고, 헤드 포즈 변동성을 제거한다.
• 합성 정면 이미지에서 눈 외관 특징을 추출하여 시선 추정 회귀에 활용한다.
• 정규화된 눈 외관 특징에 대해 k-NN 또는 적응형 선형 회귀를 사용하여 시선 회귀 모델을 훈련한다.
• 헤드 스탠디(Head-still) 및 자연스러운 헤드 움직임 조건에서 성능 평가를 위해 EYEDIAP 데이터셋을 사용한다.

실험 결과

연구 질문

• RQ1 개인화된 3D 형태 조정 가능 얼굴 모델을 사용하여 깊이 데이터에서 헤드 포즈 추정을 실시간으로 고정도로 동시에 달성할 수 있는 방법은 무엇인가?
• RQ2 합성 정면 렌더링을 통한 포즈 정규화가 헤드 움직임 존재 하에서 시선 추정 정확도에 미치는 영향은 무엇인가?
• RQ3 소비자용 RGB-D 센서를 사용할 때 제안된 방법이 기존 최고 수준의 방법과 비교해 어떻게 성능을 냈는가?
• RQ4 정규화된 눈 이미지에서 외관 기반의 회귀가 기존 방법에 비해 시선 추정 오차를 크게 감소시킬 수 있는가?
• RQ5 실생활 HCI 응용에서의 주요 과제인 자연스러운 헤드 움직임 상황에서도 이 방법은 안정적인 성능을 유지하는가?

주요 결과

• 헤드 스탠디 조건에서 EYEDIAP 데이터셋을 사용하여 적응형 선형 회귀를 적용한 결과, 평균 시선 방향 추정 오차가 7.2°로 감소하였으며, 이는 이전 최고 성능 기준(10.1°) 대비 28.7% 향상된 것이다.
• 자연스러운 헤드 움직임 조건에서는 적응형 선형 회귀를 사용하여 평균 오차가 9.6°로 나타났으며, 이는 이전 최고 성능 기준(14.9°) 대비 35.6% 감소한 것이다.
• k-NN 회귀를 사용한 경우에도 헤드 스탠디 조건에서 오차가 22% 감소(7.7° 대비 9.9°)하여 일관된 우수성을 입증하였다.
• 이 방법은 헤드 움직임에 대해 훨씬 더 뛰어난 내구성을 보였으며, 오차 증가율이 15%에 그쳤다(7.7°에서 8.9°로), 반면 이전 최고 성능 기준은 65% 증가(9.9°에서 16.3°로)하였다.
• 적응형 최적화 전략 덕분에 실시간으로 고정도의 3D 얼굴 모델 적합이 가능하여 실생활 실시간 인간-컴퓨터 상호작용 응용에 적합하다.
• 포즈 정규화 후 합성 정면 눈 이미지를 활용함으로써 시선 회귀에 더 일관되고 구분력 있는 특징을 제공하여 성능 향상에 직접 기여하였다.