[論文レビュー] EEGEyeNet: a Simultaneous Electroencephalography and Eye-tracking Dataset and Benchmark for Eye Movement Prediction

Ard Kastrati, Martyna Beata Płomecka+5 more|arXiv (Cornell University)|Nov 6, 2021

EEG and Brain-Computer Interfaces被引用数 7

ひとこと要約

本論文では、356名の健常成人から得られた同期化された128チャネルEEGおよび眼動-tracking記録からなる大規模データセットであるEEGEyeNetを紹介する。合計47時間以上のデータを含み、左-右、角度-振幅、絶対的位置の3段階に段階的に複雑化した視線予測タスクを用いたベンチマークを提案。従来の機械学習およびディープラーニングモデルを用い、強固なベースラインを確立し、研究の再現性を高めるために、すべてのコードとデータをCC BYライセンスで公開する。

ABSTRACT

We present a new dataset and benchmark with the goal of advancing research in the intersection of brain activities and eye movements. Our dataset, EEGEyeNet, consists of simultaneous Electroencephalography (EEG) and Eye-tracking (ET) recordings from 356 different subjects collected from three different experimental paradigms. Using this dataset, we also propose a benchmark to evaluate gaze prediction from EEG measurements. The benchmark consists of three tasks with an increasing level of difficulty: left-right, angle-amplitude and absolute position. We run extensive experiments on this benchmark in order to provide solid baselines, both based on classical machine learning models and on large neural networks. We release our complete code and data and provide a simple and easy-to-use interface to evaluate new methods.

研究の動機と目的

• 視線予測研究における大規模かつ同期化されたEEGおよび眼動-trackingデータセットの不足に対処すること。
• 眼動-trackingハードウェアが不適切な状況（例：臨床的環境や自然主義的環境）においても、EEGに基づく視線推定を可能にすること。
• EEG信号を用いた視線予測モデルの評価のための標準化されたベンチマークを確立すること。
• オープンで高品質なデータとツールを提供することで、脳-コンピュータインターフェース、神経疾患の診断、行動分析分野の研究を加速すること。

提案手法

• 3つの実験的パラダイムにわたり、356名の健常参加者から同時128チャネルEEGおよびビデオ赤外眼動-trackingデータを収集。
• 生のEEGおよび眼動-trackingデータの前処理を行い、生データおよび前処理済みデータを、関連する特徴抽出コードとともに公開。
• 3段階のベンチマークを設計：左-右視線判別、角度-振幅推定、絶対視線位置推定。複雑さが段階的に増加する。
• 従来の機械学習およびディープニューラルネットワークを含む多様なモデルをベンチマークで訓練・評価し、性能ベースラインを確立。
• 新しい視線予測モデルがEEGEyeNetベンチマーク上で評価可能な、完全にアクセス可能なオープンソースインターフェースを提供。
• データセットとコードを、CC BYライセンスで公開された公開リポジトリ（www.eegeye.net）にホスティングし、科学的利用を制限なく保証。

実験結果

リサーチクエスチョン

• RQ1 直接的眼動-tracking入力なしに、EEG信号のみで、視線の方向や位置といった眼動画像パターンを信頼性高く予測できるか？
• RQ2 EEGデータを用いた場合、視線予測の複雑さの異なるレベル（左-右、角度-振幅、絶対位置）におけるモデル性能はどのように変化するか？
• RQ3 従来の機械学習およびディープラーニングアプローチを用いたEEGベースの視線予測の性能ベースラインは何か？
• RQ4 大規模でオープンなデータセットにおいて、EEGベースの視線推定は多様な参加者や実験的条件下でどれほど一般化可能か？
• RQ5 オープンで再現可能なベンチマークは、神経科学および補助技術分野におけるEEG駆動型視線予測研究をどの程度加速できるか？

主な発見

• EEGEyeNetデータセットは、標準化された非侵襲的プロトコルに従い、356名の参加者から得られた47時間以上の同期化された128チャネルEEGおよび眼動-trackingデータを含む。
• ベンチマークは、左-右視線予測、角度-振幅推定、絶対視線位置予測という3段階に段階的に複雑化したタスクにおいて、性能ベースラインを成功裏に確立した。
• 従来の機械学習モデルとディープニューラルネットワークの両方が、視線予測タスクで測定可能な性能を達成しており、特に最も複雑なタスクではディープラーニングモデルが優れた結果を示した。
• データセットとベンチマークは、完全なコードと前処理パイプラインとともに公開されており、研究機関間での再現性と比較可能性を高めている。
• 参加者のプライバシー保護のため、匿名化処理、コードベースの識別、および感受性の高い医療データの除外を実施。全参加者から倫理的承認および正式な同意を得た。
• データセットは定期的に更新され、すべてのバージョンが公開リポジトリに保存され、長期的な利用可能性と科学的整合性を確保する。