[論文レビュー] WebQAmGaze: A Multilingual Webcam Eye-Tracking-While-Reading Dataset

Tiago Ribeiro, Stephanie Brandl+2 more|arXiv (Cornell University)|Mar 31, 2023

Gaze Tracking and Assistive Technology被引用数 7

ひとこと要約

WebQAmGazeは、WebGazerを用いてアマゾン・メカニカル・トゥーカーで収集された、語彙レベルの注視特徴を備えた、最初の多言語対応Webカメラベースの読解時眼動追跡データセットです。高品質な眼動追跡データと中程度の相関を示し、関連するテキスト領域への注視が正しい理解回答を予測できることを示しており、説明可能なAIおよびNLPモデルの解釈可能性向上に向けた低コストでスケーラブルなデータ収集を可能にします。

ABSTRACT

We present WebQAmGaze, a multilingual low-cost eye-tracking-while-reading dataset, designed as the first webcam-based eye-tracking corpus of reading to support the development of explainable computational language processing models. WebQAmGaze includes webcam eye-tracking data from 600 participants of a wide age range naturally reading English, German, Spanish, and Turkish texts. Each participant performs two reading tasks composed of five texts each, a normal reading and an information-seeking task, followed by a comprehension question. We compare the collected webcam data to high-quality eye-tracking recordings. The results show a moderate to strong correlation between the eye movement measures obtained with the webcam compared to those obtained with a commercial eye-tracking device. When validating the data, we find that higher fixation duration on relevant text spans accurately indicates correctness when answering the corresponding questions. This dataset advances webcam-based reading studies and opens avenues to low-cost and diverse data collection. WebQAmGaze is beneficial to learn about the cognitive processes behind question-answering and to apply these insights to computational models of language understanding.

研究の動機と目的

• 研究室設備を用いないWebカメラを用いた読解時の眼動追跡データ収集のための低コストでスケーラブルな手法の開発。
• 英語、スペイン語、ドイツ語の多言語データセットの作成により、多様なNLP応用を支援し、眼動追跡研究における言語バイアスを低減すること。
• Webカメラによる眼動追跡データが、注視パターンに基づいて質問応答タスクにおける正答を予測できるかどうかの検証。
• Webカメラベースの眼動追跡特徴と商業用眼動追跡機器の特徴を比較し、NLP応用における信頼性を評価すること。
• 通常読解および情報探索読解タスクにおける語彙レベルの注視特徴を提供することで、読解における認知プロセスの研究を可能にすること。

提案手法

• アマゾン・メカニカル・トゥーカーを介してWebGazerオープンソースライブラリを用いてWebカメラによる眼動追跡データを収集し、遠隔かつ大規模なデータ収集を実現。
• 既存の多言語QAデータセット（XQuADおよびMECO）を用いて、通常読解および情報探索読解の2つの読解タスクを設計。
• サンプリングレート、注視回数、キャリブレーションの一貫性に基づき、低品質な記録をフィルタリングすることで、眼動データを前処理。
• ターゲットスパンにおける注視回数や注視持続時間などの語彙レベルの注視特徴を抽出し、読解中の認知処理を分析。
• Webカメラベースの注視特徴と高品質な眼動追跡データの比較分析を実施し、信頼性を評価。
• 統計的モデリングを用いて、関連するテキストスパンへの注視パターンが正しい理解回答を予測できるかどうかを検証。

実験結果

リサーチクエスチョン

• RQ1 Webカメラベースの眼動追跡データは、質問応答タスクにおける正答をどの程度正確に予測できるか？
• RQ2 多言語テキストにおける通常読解と情報探索読解の間で注視パターンにどのような差が生じるか？
• RQ3 Webカメラ眼動追跡から抽出した語彙レベルの注視特徴は、高品質な商業用眼動追跡機器の特徴とどの程度相関するか？
• RQ4 Webカメラ記録からの注視特徴は、質問応答タスクにおけるNLPモデルの説明可能性を向上させるために利用可能か？
• RQ5 クラウドソーシングによるWebベース実験で信頼性のある眼動追跡データを収集する際の方法論的およびデータ品質上の課題は何か？

主な発見

• テキスト内の関連する回答スパンへの注視は、正しい理解回答と顕著に相関しており、注視パターンが認知処理の代理指標として機能しうることを示唆している。
• WebGazerによるWebカメラ眼動追跡から抽出した特徴と商業用眼動追跡機器の特徴との間に中程度の相関が確認され、研究目的における妥当なデータ品質を示している。
• このデータセットは、情報探索タスクが通常読解に比べて読解速度を速くし、注視回数を減らす傾向があることを示しており、タスク駆動読解行動に関する先行研究と整合的である。
• サンプリングレートおよび注視回数に基づくフィルタリング手順により、低品質なデータが効果的に除去され、信号の信頼性が向上した。
• Wikipediaや多言語QAベンチマークからの自然なテキストを用いることで、データセットは生態的妥当性を示している。
• 結果は、低コストのWebカメラ眼動追跡が、NLP分野における認知モデリングおよび説明可能なAI応用に実用的である可能性を支持している。