[논문 리뷰] Measuring eye-tracking accuracy and its impact on usability in apple vision pro

Zehao Huang, Gancheng Zhu외 5명|arXiv (Cornell University)|2024. 06. 01.

Leaf Properties and Growth Measurement인용 수 5

한 줄 요약

연구는 Apple Vision Pro의 시선 추적 정확도를 두 가지 테스트 설정에서 평가하고 사용성과의 관계를 검토하며 평균 정확도는 약 1.11° 및 0.93°로, 약 34°×18° FOV 내에서, SUS 사용성 점수는 75.24 및 68.26, 시선 추적 정확도와 사용성 사이에 신뢰할 만한 상관관계가 없음.

ABSTRACT

With built-in eye-tracking cameras, the recently released Apple Vision Pro (AVP) mixed reality (MR) headset features gaze-based interaction, eye image rendering on external screens, and iris recognition for device unlocking. One of the technological advancements of the AVP is its heavy reliance on gaze- and gesture-based interaction. However, limited information is available regarding the technological specifications of the eye-tracking capability of the AVP, and raw gaze data is inaccessible to developers. This study evaluates the eye-tracking accuracy of the AVP with two sets of tests spanning both MR and virtual reality (VR) applications. This study also examines how eye-tracking accuracy relates to user-reported usability. The results revealed an overall eye-tracking accuracy of 1.11° and 0.93° in two testing setups, within a field of view (FOV) of approximately 34° x 18°. The usability and learnability scores of the AVP, measured using the standard System Usability Scale (SUS), were 75.24 and 68.26, respectively. Importantly, no statistically reliable correlation was found between eye-tracking accuracy and usability scores. These results suggest that eye-tracking accuracy is critical for gaze-based interaction, but it is not the sole determinant of user experience in VR/AR.

연구 동기 및 목표

• MR/VR 맥락에서 Apple Vision Pro의 시선 추적 정확도 평가.
• SUS 지표를 사용해 사용성과 학습 용이성 정량화.
• 시선 추적 정확도와 사용성 결과 간의 상관관계 조사.

제안 방법

• MR 및 VR 맥 context에서 두 세트의 시선 추적 정확도 테스트 수행.
• ~34°×18° 시야(FOV) 내 시선 정확도 측정.
• 사용성과 학습 용이성을 위한 System Usability Scale(SUS) 점수 계산.

실험 결과

연구 질문

• RQ1 테스트된 MR/VR 설정에서 Apple Vision Pro의 시선 추적 정확도는 무엇인가?
• RQ2 SUS에 따른 Apple Vision Pro의 사용성 및 학습 용이성은 어떤가?
• RQ3 시선 추적 정확도와 사용성 지표 간에 통계적으로 신뢰할 만한 관계가 있는가?
• RQ4 작업 중 기기가 작동 FOV 안에서 시선 추적 정확도가 나타나는가?

주요 결과

• ~34°×18° FOV 내에서 한 설정에서 시선 추적 정확도는 평균 1.11°, 다른 설정에서 0.93°.
• 사용성 및 학습 용이성 점수(SUS)는 각각 75.24 및 68.26.
• 시선 추적 정확도와 사용성 점수 간에 통계적으로 신뢰할 만한 상관관계가 발견되지 않음.
• 시선 추적 정확도는 시선 기반 상호작용에 중요하지만 사용자 경험을 단독으로 결정하지는 않음.