[論文レビュー] A Deep Learning Approach for the Segmentation of Electroencephalography Data in Eye Tracking Applications

Lukas Wolf, Ard Kastrati+6 more|arXiv (Cornell University)|Jun 17, 2022

Gaze Tracking and Assistive Technology被引用数 4

ひとこと要約

本稿では、ビデオベースの眼動追跡データを一切使用せずに、EEGデータを固定、飛躍、瞬きといった眼動的イベントにエンドツーエンドでセグメンテーションする新しい深層学習フレームワーク、DETRtimeを紹介する。DETR物体検出アーキテクチャの時系列版を応用することで、4つの眼動追跡パラダイムにおいて最先端の性能を達成し、EEG睡眠ステージセグメンテーションへの汎用性も高い。

ABSTRACT

The collection of eye gaze information provides a window into many critical aspects of human cognition, health and behaviour. Additionally, many neuroscientific studies complement the behavioural information gained from eye tracking with the high temporal resolution and neurophysiological markers provided by electroencephalography (EEG). One of the essential eye-tracking software processing steps is the segmentation of the continuous data stream into events relevant to eye-tracking applications, such as saccades, fixations, and blinks. Here, we introduce DETRtime, a novel framework for time-series segmentation that creates ocular event detectors that do not require additionally recorded eye-tracking modality and rely solely on EEG data. Our end-to-end deep learning-based framework brings recent advances in Computer Vision to the forefront of the times series segmentation of EEG data. DETRtime achieves state-of-the-art performance in ocular event detection across diverse eye-tracking experiment paradigms. In addition to that, we provide evidence that our model generalizes well in the task of EEG sleep stage segmentation.

研究の動機と目的

• ビデオベースの眼動追跡データに依存せずに、EEGデータを固定、飛躍、瞬きといった眼動的イベントにセグメンテーションする深層学習フレームワークの開発。
• 元々画像における物体検出を目的として設計されたDETRアーキテクチャを、EEG信号の時系列セグメンテーション用に変換すること。
• 高時間分解能（2 ms）と正確な発生・終了時刻の局在化を可能にする、複数の眼動的イベントを同時に検出可能な統合的でエンドツーエンドの手法の構築。
• 多様な実験的パラダイムにおけるモデル性能の評価を行い、睡眠ステージ分類のような他の時系列セグメンテーションタスクへの汎用性を実証すること。
• 139,000件の固定、139,000件の飛躍、14,000件の瞬きを含む、EEGと赤外眼動追跡の真値を併記した公開可能なベンチマークデータセットの提供。

提案手法

• 可変長の時系列入力を、クラスラベルの系列にマッピングする、時系列データに適応したトランスフォーマー基盤のアーキテクチャ。
• 学習可能なオブジェクトクエリ機構とセット予測ヘッドを用い、コンピュータビジョンにおけるインスタンスセグメンテーションと同様に、複数の眼動的イベントを同時に予測。
• EEG信号における長距離依存性を捉えるために、マルチヘッド自己注意機構を採用し、イベント境界の正確な局在化を可能にする。
• 予測結果と真値のイベントインスタンスをマッチングするハンガリアン損失を用いてエンドツーエンドで学習し、発生・終了時刻の正確な検出を保証。
• 2 msの時間分解能で評価され、眼動的イベントの細粒度なセグメンテーションを可能にする。
• EEGデータに最適な特徴抽出部品を特定するため、複数のバックボーン（例：EEGNet、EEG-TCN）を評価。

実験結果

リサーチクエスチョン

• RQ1 DETRのようなトランスフォーマー基盤のアーキテクチャは、外部の眼動追跡データなしでEEGデータの時系列セグメンテーションに効果的に適応可能か？
• RQ2 多様な実験的パラダイムにおいて、DETRtimeは既存のSOTAモデルと比較して、正確性、再現率、F1スコアの観点でどの程度優れているか？
• RQ3 DETRtimeは、EEG睡眠ステージ分類のような他の時系列セグメンテーションタスクへどの程度汎用可能か？
• RQ4 特に縦方向の飛躍と瞬きを区別するという点で、EEGベースの眼動的イベント検出における主な課題は何か？
• RQ5 統合的でエンドツーエンドの深層学習フレームワークは、EEGベースの眼動的イベントセグメンテーションにおいて、別個の前処理や手作業による特徴工学パイプラインの必要性を排除できるか？

主な発見

• DETRtimeは4つの眼動追跡パラダイム全体で平均精度0.936、再現率0.902を達成し、既存のSOTAモデルを顕著に上回った。
• モデルは、EEG睡眠ステージセグメンテーションタスクにおいて、Sleep-EDF-153データセットで現在のSOTA手法を上回る強力な汎用性を示した。
• 固定のF1スコアが飛躍および瞬きよりも高かったが、これは特に縦方向の飛躍と瞬きの類似した信号パターンを区別する難易度を反映している。
• アブレーションスタディにより、DETRtimeを用いる場合、イベント局在化を処理する別個のセグメンテーションパイプラインは不要であることが確認された。エンドツーエンドアーキテクチャが本質的にイベント局在化を処理している。
• モデルの性能は多様なEEG信号品質および被験者間のばらつきに対しても頑健であったが、被験者ごとのファインチューニングによりさらなる性能向上が期待できる。
• 168名の被験者と292,000件のラベル付き眼動的イベントを含む、本研究で提案されたベンチマークデータセットは、今後のEEGベースの眼動挙動分析研究における貴重なリソースである。