[論文レビュー] Reading Task Classification Using EEG and Eye-Tracking Data

Nora Hollenstein, Marius Tröndle+5 more|arXiv (Cornell University)|Dec 12, 2021

Cognitive Science and Mapping被引用数 5

ひとこと要約

本研究では、ZuCoデータセットのEEGおよび眼動態データを用いて、通常の読解とタスク固有の情報検索という読解タスクを分類する。文レベルおよび語彙レベルの特徴量を用いた機械学習により、特にガンマバンドにおけるEEG電極特徴量が高精度を達成したのに対し、眼動態データおよび平均EEG特徴量はランダムよりわずかに優れた性能にとどまり、EEGがタスク固有の神経パターンに敏感であることに加え、記録セッションの順序効果も顕著に示された。

ABSTRACT

The Zurich Cognitive Language Processing Corpus (ZuCo) provides eye-tracking and EEG signals from two reading paradigms, normal reading and task-specific reading. We analyze whether machine learning methods are able to classify these two tasks using eye-tracking and EEG features. We implement models with aggregated sentence-level features as well as fine-grained word-level features. We test the models in within-subject and cross-subject evaluation scenarios. All models are tested on the ZuCo 1.0 and ZuCo 2.0 data subsets, which are characterized by differing recording procedures and thus allow for different levels of generalizability. Finally, we provide a series of control experiments to analyze the results in more detail.

研究の動機と目的

• 機械学習がEEGおよび眼動態データを用いて読解タスクを分類可能かどうかを調査すること。
• EEGおよび眼動態モダリティにおいて、文レベル特徴量と語彙レベル特徴量の両方を用いたモデルの性能を比較すること。
• タスク分類モデルの被験者内および被験者間一般化性能を評価すること。
• ZuCo 1.0およびZuCo 2.0における記録セッション順序およびセッションバイアスが分類性能に与える影響を分析すること。
• 読解中のタスク固有認知状態を捉える生理的信号の頑健性を評価すること。

提案手法

• EEGおよび眼動態データから抽出した集約された文レベル特徴量および細粒度の語彙レベル特徴量を用いてモデルを訓練する。
• 通常読解とタスク固有読解タスクを区別する二値分類を実施する。
• 被験者内および被験者間の評価シナリオを用いてモデルの一般化性能を評価する。
• EEG特徴量は周波数バンドごとに分析され、特にガンマバンド活動に注目する。
• 記録ブロック数を段階的に減らすことで、セッション順序効果を特定するための制御実験およびアブレーションスタディを実施する。
• 誤分類行列およびブロックサブセットごとの性能トレンドを用いて、モデルの挙動およびデータのばらつきを分析する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルはEEGおよび眼動態特徴量を用いて、通常読解とタスク固有読解を正確に分類可能か？
• RQ2 文レベル特徴量と語彙レベル特徴量のどちらが読解タスクの区別に優れているか？
• RQ3 被験者間一般化が分類性能に及ぼす影響はどの程度か？
• RQ4 記録ブロックの順序がモデル性能に与える影響、特にEEGデータにおいては？
• RQ5 どのEEG周波数バンドおよび電極位置がタスク分類の正確性に最も寄与しているか？

主な発見

• 特にガンマ周波数バンドにおけるEEG電極特徴量が、眼動態データおよび平均EEG特徴量を上回る高い分類精度を達成した。
• 眼動態特徴量および平均EEG特徴量はブロックレベルの分類において、ランダムよりわずかに優れた性能にとどまり、セッション固有のパターンを区別する能力が限定的であることが示された。
• 誤分類行列から、EEGベースのモデルは主に隣接する記録ブロック間で誤りを犯していることが明らかになり、脳信号にセッションに起因する系統的なばらつきが存在することが示唆された。
• アブレーションスタディの結果、EEG電極特徴量を用いた分類精度は、訓練用ブロック数が増えるにつれて顕著に向上した。これは神経データにセッション順序のエンコードが強く影響していることを示している。
• 一方、眼動態および平均EEG特徴量は追加のブロックによる性能向上が僅かにしか得られず、セッション固有情報のエンコードが弱いことが示された。
• これらの結果から、EEGデータにはタスク分類に活用可能な頑健でセッション順序に従った神経サインが内蔵されており、眼動態データはこの目的にはあまり効果的でないことが示された。