[논문 리뷰] Pupil: An Open Source Platform for Pervasive Eye Tracking and Mobile Gaze-based Interaction

Moritz Kassner, William Patera외 1명|arXiv (Cornell University)|2014. 04. 30.

Gaze Tracking and Assistive Technology참고 문헌 19인용 수 130

한 줄 요약

Pupil은 경량 헤드셋에 고해상도 스냅샷 카메라와 적외선 눈동자 카메라를 탑재하고, 실시간 눈동자 검출, 시선 추정 및 데이터 시각화를 위한 크로스플랫폼 소프트웨어 프레임워크를 결합한 오픈소스이자 저비용이며 확장 가능한 모바일 눈동자 추적 플랫폼을 제공한다. 이 플랫폼은 평균 0.6°의 시선 정확도와 단 0.045초의 처리 지연을 달성하여 일상 환경에서 광범위하게 활용 가능한 실시간 시선 기반 상호작용을 가능하게 한다.

ABSTRACT

Commercial head-mounted eye trackers provide useful features to customers in industry and research but are expensive and rely on closed source hardware and software. This limits the application areas and use of mobile eye tracking to expert users and inhibits user-driven development, customisation, and extension. In this paper we present Pupil -- an accessible, affordable, and extensible open source platform for mobile eye tracking and gaze-based interaction. Pupil comprises 1) a light-weight headset with high-resolution cameras, 2) an open source software framework for mobile eye tracking, as well as 3) a graphical user interface (GUI) to playback and visualize video and gaze data. Pupil features high-resolution scene and eye cameras for monocular and binocular gaze estimation. The software and GUI are platform-independent and include state-of-the-art algorithms for real-time pupil detection and tracking, calibration, and accurate gaze estimation. Results of a performance evaluation show that Pupil can provide an average gaze estimation accuracy of 0.6 degree of visual angle (0.08 degree precision) with a latency of the processing pipeline of only 0.045 seconds.

연구 동기 및 목표

• 연구 및 산업 분야에서 접근성과 확장성에 제약을 주는 고가의 상용 헤드셋형 눈동자 추적기의 문제를 해결하기 위해.
• 실생활의 이동 가능한 환경에서 광범위하게 사용 가능한 접근성 있고 저비용이며 확장 가능한 오픈소스 플랫폼을 개발하기 위해.
• 오픈 하드웨어 및 소프트웨어 설계를 통해 사용자 주도의 개발, 커스터마이징 및 커뮤니티 기반 혁신을 가능하게 하기 위해.
• 실시간 응용 프로그램을 위한 고정확도 및 저지연 시선 추정을 달성하기 위해.
• 모듈식이고 플랫폼에 종속되지 않으며 철저한 문서화가 된 도구를 통해 다양한 연구 및 응용 분야를 지원하기 위해.

제안 방법

• 경량 3D 프린팅 헤드셋에 고해상도 스냅샷 카메라와 적외선 눈동자 카메라를 탑재하여 어두은 눈동자 검출을 수행한다.
• Pupil Capture 소프트웨어는 USB 2.0을 통해 영상 스트림을 처리하여 실시간 눈동자 검출, 시선 매핑 및 데이터 기록을 가능하게 한다.
• 소프트웨어 스택은 오픈소스 컴퓨터 비전 라이브러리를 활용하며, 기록, 스트리밍, 분석을 위한 실시간 플러그인을 지원한다.
• Pupil은 처리 파이프라인의 지연을 최소화하기 위해 하드웨어 타임스탬프를 사용하여 시간 정밀도를 확보한다.
• 유저 착용 조건에서의 헤드셋의 편안함과 카메라 정렬 최적화를 위해 유한요소해석(FEA)을 활용한다.
• 소프트웨어 프레임워크는 플랫폼에 종속되지 않으며, 校정, 눈동자 추적, 시선 추정에 최신 알고리즘을 포함한다.

실험 결과

연구 질문

• RQ1 오픈소스이자 저비용인 눈동자 추적 플랫폼이 상용 시스템과 동등한 정확도와 지연 수준을 달성할 수 있는가?
• RQ2 오픈 하드웨어와 소프트웨어는 모바일 눈동자 추적에서 더 높은 접근성, 커스터마이징 가능성 및 커뮤니티 기반 개발을 어떻게 가능하게 하는가?
• RQ3 소비자 수준의 카메라와 오픈소스 컴퓨터 비전 파이프라인을 사용할 경우, 어떤 정도의 시선 추정 정확도와 처리 지연을 달성할 수 있는가?
• RQ4 실시간으로 눈동자 영상 스트림과 스냅샷 영상 스트림 간의 시간 정확도와 동기화는 어떻게 유지되는가?
• RQ5 모듈식이고 사용자가 수정 가능한 하드웨어와 소프트웨어는 광범위한 눈동자 추적 연구 및 응용 요구사항을 얼마나 잘 충족할 수 있는가?

주요 결과

• Pupil은 평균 0.6도의 시각각도 시선 추정 정확도를 달성했으며, 정밀도는 0.08도로, 이는 이동형 눈동자 추적 분야에서 높은 정확도를 보여준다.
• 눈동자 파이프라인의 총 처리 지연은 0.045초(±0.003초)이며, 월드 파이프라인 지연은 0.124초(±0.005초)로, 실시간 시선 상호작용을 가능하게 한다.
• 하드웨어 타임스탬프를 사용함으로써 시스템은 높은 시간 정밀도를 유지하며, 이는 실시간 및 후처리 응용 프로그램에서 정확한 동기화에 필수적이다.
• Pupil Capture 소프트웨어는 2GB RAM을 갖춘 2010년형 맥북 에어와 같은 저전력 하드웨어에서도 효율적으로 작동하여, 30fps의 눈동자 검출 및 24fps의 스냅샷 촬영에서 안정된 성능을 기록한다.
• 최신 눈동자 데이터를 기반으로 실시간 데이터 방송을 지원하여, 엄격한 동기화보다는 최신성 우선 원칙을 적용함으로써 실시간 사용에 최적화되어 있다.
• 시스템은 확장 가능하고 커뮤니티 중심이며, 활발한 개발, 철저한 문서화, 포럼 및 오픈소스 레포지토리 기반의 지원을 제공한다.