[논문 리뷰] Pistol: Pupil Invisible Supportive Tool to extract Pupil, Iris, Eye Opening, Eye Movements, Pupil and Iris Gaze Vector, and 2D as well as 3D Gaze

Wolfgang Fuhl, Daniel Weber외 1명|arXiv (Cornell University)|2022. 01. 18.

Gaze Tracking and Assistive Technology인용 수 26

한 줄 요약

Pistol은 Pupil Invisible 데이터를 오프라인으로 처리하여 동공/홍채 기하학, 눈 뜨고 있음, 눈 움직임, 마커, 그리고 2D/3D 시선을 Levenberg–Marquardt 피팅 및 신경망을 사용하여 추출하는 특징 추출 및 시선 추정 툴킷입니다.

ABSTRACT

This paper describes a feature extraction and gaze estimation software, named extit{Pistol} that can be used with Pupil Invisible projects and other eye trackers in the future. In offline mode, our software extracts multiple features from the eye including, the pupil and iris ellipse, eye aperture, pupil vector, iris vector, eye movement types from pupil and iris velocities, marker detection, marker distance, 2D gaze estimation for the pupil center, iris center, pupil vector, and iris vector using Levenberg Marquart fitting and neural networks. The gaze signal is computed in 2D for each eye and each feature separately and for both eyes in 3D also for each feature separately. We hope this software helps other researchers to extract state-of-the-art features for their research out of their recordings. Link: https://es-cloud.cs.uni-tuebingen.de/d/8e2ab8c3fdd444e1a135/?p=%2FPISTOL&mode=list

연구 동기 및 목표

• pupil-invisible 기록에서 광범위한 눈 특징을 무료 도구로 추출한다.
• 2D 시선 추정(각 눈당) 및 두 눈 전체를 통한 3D 시선 추정을 여러 최적화 방법으로 수행한다.
• 연구 및 산업 응용을 지원하기 위해 동공/홍채 랜드마크, 눈꺼풀, 눈 열림, 눈 움직임의 강력한 감지를 제공한다.
• 향후 아이 트래커와 Pupil Invisible 프로젝트와의 호환성을 지원한다.

제안 방법

• 텐서 정규화와 전체 분포 학습이 포함된 작은 DNN을 사용하여 동공, 홍채 및 눈꺼풀 랜드마크를 감지한다.
• OpenCV 타원 피팅과 눈꺼풀에 대해 3차 스플라인을 사용하여 동공/홍채 타원을 피팅한다.
• 눈꼬리 벡터에 직교하게 제약된 최적화를 통해 눈 열림을 추정한다.
• 중심-대-중심 벡터로부터 광학 벡터를 도출하기 위해 신경망으로 눈구심점과 중심을 계산한다.
• pupil과 iris 벡터 사이의 각도 및 열림 차이를 사용한 신경망으로 눈 움직임 분류를 수행한다.
• 보정 마커를 초기 탐지(대략)와 세밀한 탐지기로 탐지하여 깊이 및 시선 보정을 지원한다.

실험 결과

연구 질문

• RQ1 Pistol이 pupil-invisible 데이터에서 동공/홍채 타원, 눈꺼풀, 안구, 벡터를 포함한 광범위한 눈 특징을 얼마나 효과적으로 추출할 수 있는가?
• RQ2 Levenberg–Marquardt 피팅과 신경망을 사용한 2D/3D 시선 추정의 정확도는 눈당 구성과 양 눈을 합친 구성에서 어떤가?
• RQ3 머리/눈 위치 변화에 따른 깊이 추정 및 시선 계산에서 마커 기반 보정의 신뢰성은 어느 정도인가?
• RQ4 전통 GPU에서의 실시간 오프라인 처리에 필요한 런타임 특성과 하드웨어 요구사항은 무엇인가?

주요 결과

• Pistol은 주석 데이터에서 동공 중심 RMSE가 약 0.93 px, 홍채 랜드마크 RMSE가 약 1.12 px이며, 동공/홍채 눈꺼풀의 mIoU가 약 0.84–0.91 범위입니다(Table 3).
• 2D 시선 추정은 방법 및 눈에 따라 평균 약 21.8–32.3 px이며, 합친 눈의 2D 추정은 약 18.5–22.9 px(Table 5).
• 3D 시선 추정 평균 오차는 방법당 대략 ~19.6–20.5 px 범위입니다(Table 5).
• 마커 탐지의 거친(stage) 평균 랜드마크 정확도는 6.70 px, 오탐 비율은 2.34%; 세밀한 탐지기는 정확도를 0.82 px로 낮추고 오탐 비율은 0.001%로 감소합니다(Table 7).
• Pistol은 GTX 1050Ti에서 피처 탐지 프레임당 약 17.21 ms를, 마커 탐지는 프레임당 약 57 ms를 소요합니다(Table 8).
• KNN 접근법을 이용한 깊이 추정은 대부분의 오차를 50 cm 미만으로 실용적 정확도를 보이나 근거리 깊이는 여전히 도전적입니다(Figure 10).