[논문 리뷰] TobiiGlassesPySuite: An open-source suite for using the Tobii Pro Glasses 2 in eye-tracking studies

Davide De Tommaso, Agnieszka Wykowska|arXiv (Cornell University)|2019. 12. 19.

Gaze Tracking and Assistive Technology참고 문헌 28인용 수 8

한 줄 요약

이 논문은 연구자가 토비 프로 글래스 2 웨어러블 눈추적기의 제어, 녹화 관리, 실시간 영상 및 시선 데이터 스트리밍, 그리고 CSV 형식으로 처리된 눈추적 데이터 내보내기를 가능하게 하는 오픈소스 파이썬 패키지인 TobiiGlassesPySuite를 제시한다. 이 도구는 저수준 API의 복잡성을 추상화하고, GNU GPL v3.0 라이선스 하에 데이터 수집, 校정, 분석을 위한 모듈형이고 크로스플랫폼인 도구를 제공함으로써 장치의 사용성을 향상시켜, 연구자들이 맞춤형 눈추적 실험을 수행하는 데 유용하다.

ABSTRACT

In this paper we present the TobiiGlassesPySuite, an open-source suite we implemented for using the Tobii Pro Glasses 2 wearable eye-tracker in custom eye-tracking studies. We provide a platform-independent solution for controlling the device and for managing the recordings. The software consists of Python modules, integrated into a single package, accompanied by sample scripts and recordings. The proposed solution aims at providing additional methods with respect to the manufacturer's software, for allowing the users to exploit more the device's capabilities and the existing software. Our suite is available for download from the repository indicated in the paper and usable according to the terms of the GNU GPL v3.0 license.

연구 동기 및 목표

• 제조사의 소프트웨어가 토비 프로 글래스 2를 사용한 맞춤형 눈추적 실험을 지원하는 데에 한계가 있다는 문제를 해결하기 위해.
• 연구자들이 저수준 장치 제어와 데이터 처리를 추상화한 크로스플랫폼 기반 파이썬 솔루션을 제공하기 위해.
• 시선 데이터, 실시간 영상, 이벤트 로깅에 대한 프로그래밍 방식의 액세스를 통해 토비 프로 글래스 2의 功能을 표준 사용을 초월하도록 확장하기 위해.
• 재사용 가능하고 모듈형 코드를 통해 연구자들이 웨어러블 눈추적기를 복잡한 실험 설정에 통합할 수 있도록 지원하기 위해.
• 표준화된 오픈소스 도구를 통해 데이터 내보내기, 고정점 탐지, 시각화를 체계적으로 지원하기 위해.

제안 방법

• 이 도구는 장치 제어, 데이터 스트리밍, 녹화 관리 등의 모듈형 구성 요소를 가진 단일 파이썬 패키지로 구현되었다.
• 장치 기능(예: 데이터 스트리밍 시작/정지, 校정 관리 등) 제어를 위해 토비 프로 글래스 2 API를 사용한다.
• 실시간 영상 스트림은 장치에서 실행 중인 RTSP 서버를 통해 접근하며, OpenCV를 사용해 실시간으로 영상 스트림을 표시하고 처리한다.
• 시선 데이터는 파이썬 딕셔너리에 수집 및 저장되며, I-DT 필터를 사용해 원시 데이터와 검출된 고정점을 내보내는 메서드가 있다.
• 녹화 중에 JSON 객체를 통해 사용자 정의 이벤트를 전송할 수 있으며, 이는 CSV 파일에 기록되거나 토비 프로 랩 소프트웨어와 통합될 수 있다.
• 프로젝트 설정, 校정, 녹화, 데이터 내보내기 등의 샘플 스크립트가 포함되어 있으며, SD 카드에 저장된 녹화 파일에 대한 전체 경로 접근 기능도 제공한다.

실험 결과

연구 질문

• RQ1 연구자들이 제조사 소프트웨어의 기능을 초월해 토비 프로 글래스 2의 기능을 어떻게 확장할 수 있는가?
• RQ2 이동형이고 사용자 중심의 눈추적 연구에 웨어러블 눈추적기를 사용할 때의 주요 과제는 무엇인가?
• RQ3 표준화된 오픈소스 소프트웨어 도구가 눈추적 실험의 데이터 접근성, 校정, 녹화 관리에 어떻게 기여할 수 있는가?
• RQ4 웨어러블 눈추적 시스템에서 실시간 영상과 시선 데이터를 효율적으로 동기화하는 방법은 무엇인가?
• RQ5 연구 환경에서 눈추적 데이터를 체계적으로 내보내고 처리하는 방법은 무엇인가?

주요 결과

• TobiiGlassesPySuite는 단일 파이썬 패키지를 통해 토비 프로 글래스 2 제어 및 녹화 관리에 대한 통합적이고 플랫폼에 구애받지 않는 솔루션을 제공한다.
• 이 도구는 RTSP와 OpenCV를 사용해 실시간 데이터 스트리밍을 가능하게 하여, 현장 영상과 매핑된 시선 점의 실시간 시각화를 지원한다.
• I-DT 필터를 사용해 원시 시선 데이터와 검출된 고정점을 CSV 형식으로 내보낼 수 있으며, 산산만 흩어짐과 지속 시간에 대한 설정 가능한 임계값을 제공한다.
• JSON 객체를 통한 외부 이벤트 로깅 기능을 지원하며, 이는 CSV 파일에 저장되거나 토비 프로 랩 소프트웨어와 동기화되어 분석을 향상시킬 수 있다.
• 프로젝트 생성, 참가자 관리, 校정, 녹화 제어 등의 포괄적인 예제 스크립트가 포함되어 있어 실험 설정을 간소화한다.
• GNU GPL v3.0 라이선스 하에 오픈소스로 제공되는 이 패키지는 커뮤니티 기여와 장기적인 기능 확장성을 장려한다.