[논문 리뷰] WebQAmGaze: A Multilingual Webcam Eye-Tracking-While-Reading Dataset

Tiago Ribeiro, Stephanie Brandl외 2명|arXiv (Cornell University)|2023. 03. 31.

Gaze Tracking and Assistive Technology인용 수 7

한 줄 요약

WebQAmGaze는 웹캠 기반의 읽기 중 눈동자 추적 데이터셋으로, 웹기반으로 작동하는 WebGazer를 활용해 아마존 멀티티틀러를 통해 수집된 단어 수준의 정렬 기능을 포함하고 있다. 이 데이터셋은 고성능 눈동자 추적 데이터와 중간 정도의 상관관계를 보이며, 관련 텍스트 영역에 대한 정렬이 정답을 예측할 수 있음을 보여주어 설명 가능한 AI 및 NLP 모델의 해석 가능성 향상을 위한 저비용·확장 가능한 데이터 수집을 가능하게 한다.

ABSTRACT

We present WebQAmGaze, a multilingual low-cost eye-tracking-while-reading dataset, designed as the first webcam-based eye-tracking corpus of reading to support the development of explainable computational language processing models. WebQAmGaze includes webcam eye-tracking data from 600 participants of a wide age range naturally reading English, German, Spanish, and Turkish texts. Each participant performs two reading tasks composed of five texts each, a normal reading and an information-seeking task, followed by a comprehension question. We compare the collected webcam data to high-quality eye-tracking recordings. The results show a moderate to strong correlation between the eye movement measures obtained with the webcam compared to those obtained with a commercial eye-tracking device. When validating the data, we find that higher fixation duration on relevant text spans accurately indicates correctness when answering the corresponding questions. This dataset advances webcam-based reading studies and opens avenues to low-cost and diverse data collection. WebQAmGaze is beneficial to learn about the cognitive processes behind question-answering and to apply these insights to computational models of language understanding.

연구 동기 및 목표

• 웹캠을 사용하여 실험실 장비를 대체하는 독서 중 눈동자 추적 데이터 수집을 위한 저비용·확장 가능한 방법을 개발하는 것.
• 다양한 NLP 응용 프로그램을 지원하고 눈동자 추적 연구에서의 언어 편향을 줄이기 위해 영어, 스페인어, 독일어로 구성된 다국어 데이터셋을 구축하는 것.
• 웹캠 기반 눈동자 추적 데이터가 정답을 예측할 수 있는지 여부를 조사하는 것.
• 웹캠 기반 눈동자 추적 기능의 품질을 상업용 눈동자 추적기의 기능과 비교하여 NLP 응용 분야에서의 신뢰성 평가를 수행하는 것.
• 일반 독서 및 정보 탐색 독서 작업을 포함한 단어 수준의 시선 기능을 제공함으로써 독서 중 인지 과정 연구를 가능하게 하는 것.

제안 방법

• 웹캠을 통해 아마존 멀티티틀러에서 작동하는 오픈소스 라이브러리인 WebGazer를 활용해 원격으로 대규모 데이터 수집이 가능한 눈동자 추적 데이터를 수집하는 것.
• 기존의 다국어 QA 데이터셋(XQuAD 및 MECO)의 텍스트와 질문을 활용해 일반 독서 및 정보 탐색 독서 작업을 설계하는 것.
• 샘플링 속도, 정렬 수, 校정 일관성 기반으로 저품질 기록을 필터링하여 눈동자 데이터를 사전 처리하는 것.
• 목표 영역에서의 정렬 수 및 지속 시간과 같은 단어 수준의 정렬 기능을 추출하여 독서 중 인지 처리 과정을 분석하는 것.
• 웹캠 기반 시선 기능과 고성능 눈동자 추적 데이터 간의 비교 분석을 수행하여 신뢰성 평가를 수행하는 것.
• 통계 모델링을 활용해 관련 텍스트 영역에 대한 정렬 패턴이 정답 이해 응답을 예측할 수 있는지 테스트하는 것.

실험 결과

연구 질문

• RQ1 웹캠 기반 눈동자 추적 데이터가 질문-답변 작업에서 정답을 예측하는 데 얼마나 유의미한가?
• RQ2 다국어 텍스트에서 일반 독서와 정보 탐색 독서 간의 정렬 패턴은 어떻게 다를까?
• RQ3 웹캠 기반 눈동자 추적에서 추출한 단어 수준의 정렬 기능이 고성능 상용 눈동자 추적기와 얼마나 상관관계가 있는가?
• RQ4 웹캠 녹화 기반의 시선 기능을 사용해 질문-답변 작업에서 NLP 모델의 해석 가능성을 향상시킬 수 있는가?
• RQ5 커뮤니티 기반 웹 기반 실험을 통해 신뢰할 수 있는 눈동자 추적 데이터를 수집할 때의 방법론적 및 데이터 품질 과제는 무엇인가?

주요 결과

• 텍스트의 관련 답변 영역에 대한 정렬은 정답 이해 응답과 유의미하게 관련되어 있으며, 이는 시선 패턴이 인지 처리의 대체 지표로 사용될 수 있음을 시사한다.
• 웹캠 기반 눈동자 추적(WebGazer)에서 추출한 시선 기능과 상용 눈동자 추적 장치에서 추출한 기능 간에 중간 정도의 상관관계가 발견되어 연구 목적에 적합한 데이터 품질을 보여준다.
• 정보 탐색 작업은 더 빠른 독서 속도와 더 적은 정렬 수를 보이며, 이는 이전 연구에서의 작업 기반 독서 행동과 일치한다.
• 샘플링 속도 및 정렬 수 기반의 필터링 절차는 저품질 데이터를 효과적으로 제거하여 신호 신뢰도를 향상시켰다.
• 위키백과 및 다국어 QA 벤치마크에서 유래한 자연스러운 텍스트를 사용함으로써 데이터셋은 생태학적 타당성을 확보했다.
• 결과는 저비용 웹캠 기반 눈동자 추적 기술이 NLP 분야에서 인지 모델링 및 설명 가능한 AI 응용 분야에 실현 가능함을 뒷받침한다.