[論文レビュー] CrossPT-EEG: A Benchmark for Cross-Participant and Cross-Time Generalization of EEG-based Visual Decoding

Shuqi Zhu, Ziyi Ye+2 more|arXiv (Cornell University)|Jun 11, 2024

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本稿では、16名の被験者とImageNet-21kの4,000枚の画像ステイミュリを備えた大規模なEEGデータセット、EEG-ImageNetを紹介する。このデータセットは、粗粒度および細粒度のラベルをサポートしており、EEGを用いた視覚的復元におけるクロス・パーソンおよびクロス・タイム一般化のベンチマークを確立する。CLIPベースのモデルを用いて、60.88%のオブジェクト分類精度と64.67%の二重識別率を達成した。

ABSTRACT

Exploring brain activity in relation to visual perception provides insights into the biological representation of the world. While functional magnetic resonance imaging (fMRI) and magnetoencephalography (MEG) have enabled effective image classification and reconstruction, their high cost and bulk limit practical use. Electroencephalography (EEG), by contrast, offers low cost and excellent temporal resolution, but its potential has been limited by the scarcity of large, high-quality datasets and by block-design experiments that introduce temporal confounds. To fill this gap, we present CrossPT-EEG, a benchmark for cross-participant and cross-time generalization of visual decoding from EEG. We collected EEG data from 16 participants while they viewed 4,000 images sampled from ImageNet, with image stimuli annotated at multiple levels of granularity. Our design includes two stages separated in time to allow cross-time generalization and avoid block-design artifacts. We also introduce benchmarks tailored to non-block design classification, as well as pre-training experiments to assess cross-time and cross-participant generalization. These findings highlight the dataset's potential to enhance EEG-based visual brain-computer interfaces, deepen our understanding of visual perception in biological systems, and suggest promising applications for improving machine vision models.

研究の動機と目的

• 視覚神経科学研究のための、多粒度ラベルを備えた大規模かつ高品質なEEGデータセットの不足に対処すること。
• 包括的なベンチマークを提供することで、EEGを用いた視覚的復元における被験者間および時間経過における一般化を可能にすること。
• 脳-コンピュータインターフェース（BCI）の開発を支援し、人間の視覚認識の理解を深めるためにEEGを用いること。
• オブジェクト分類および画像復元タスクにおけるEEG信号へのディープラーニングモデルの応用を促進すること。
• 既存のEEGデータセットが規模が小さく、細粒度分類が欠如しているという制限を克服すること。

提案手法

• ImageNet-21kの4,000枚の画像（80カテゴリー、1カテゴリーあたり50枚）を提示した16名の被験者からのEEG記録を収集する。
• 粗粒度（40カテゴリー）および細粒度（40カテゴリー）分類タスクをサポートするようにデータセットを設計する。
• EEG信号とBLIPモデルが生成した画像キャプションを一致させ、画像復元パイプラインを可能にする。
• オブジェクト分類および画像復元のための複数のディープラーニングモデル（AlexNet、Inception、CLIPなど）を訓練および評価する。
• 二重識別を画像復元の評価指標として用い、生成画像を元の画像および誤検出画像と比較する。
• 時系列的データ漏洩を軽減し、クロス・タイム一般化を向上させるために、逐次的なデータ分割と短いセグメント長を採用する。

実験結果

リサーチクエスチョン

• RQ1 多粒度ラベルを備えた大規模EEGデータセットを用いることで、EEGを用いた視覚的復元モデルは異なる被験者間で一般化可能か？
• RQ2 標準化されたベンチマーク上でEEGを用いたオブジェクト分類および画像復元の性能の上限は何か？
• RQ3 特に視覚トランスフォーマー（CLIPなど）のモデルアーキテクチャが、EEGから画像への復元タスクにおける性能にどのように影響するか？
• RQ4 多粒度ラベルの導入は、EEGを用いた視覚的復元モデルの解釈可能性および実用性をどの程度向上させるか？
• RQ5 この大規模EEGデータセットを用いて、ドメイン適応および転移学習をどのように強化し、被験者間一般化を実現できるか？

主な発見

• 最高性能を示したモデルは、80クラス分類で60.88%の精度を達成し、EEG-ImageNetにおける強力な被験者間一般化を示した。
• CLIPベースのモデルは、画像復元で64.67%の最高二重識別率を達成し、他のアーキテクチャを上回った。
• 画像復元の結果から、カテゴリー情報は保持されているが、色・形状・位置などの低レベルの詳細は正確に復元されていないことが示された。
• BLIPが生成したキャプションを用いたEEG-画像の一致は、復元の精度を制限しており、より正確な信号一致手法の必要性を示唆している。
• 被験者間で性能にばらつきが見られたことから、神経応答の個人差が存在し、個別化またはドメイン適応モデルの必要性が示された。
• 本データセットは、クロス・タイムおよびクロス・パーソン一般化の意味のある評価を可能にし、将来的なBCIおよび神経画像研究の基盤を提供する。