[論文レビュー] Decoding Natural Images from EEG for Object Recognition

Yonghao Song, Bingchuan Liu+4 more|arXiv (Cornell University)|Aug 25, 2023

EEG and Brain-Computer Interfaces被引用数 8

ひとこと要約

自己教師付きフレームワーク（NICE）はEEG信号から画像表現をコントラスト学習でデコードし、EEG–画像データセット上でゼロショット物体認識を可能にする。空間的注意モジュールにより物体認識に関与する脳領域を示す。

ABSTRACT

Electroencephalography (EEG) signals, known for convenient non-invasive acquisition but low signal-to-noise ratio, have recently gained substantial attention due to the potential to decode natural images. This paper presents a self-supervised framework to demonstrate the feasibility of learning image representations from EEG signals, particularly for object recognition. The framework utilizes image and EEG encoders to extract features from paired image stimuli and EEG responses. Contrastive learning aligns these two modalities by constraining their similarity. With the framework, we attain significantly above-chance results on a comprehensive EEG-image dataset, achieving a top-1 accuracy of 15.6% and a top-5 accuracy of 42.8% in challenging 200-way zero-shot tasks. Moreover, we perform extensive experiments to explore the biological plausibility by resolving the temporal, spatial, spectral, and semantic aspects of EEG signals. Besides, we introduce attention modules to capture spatial correlations, providing implicit evidence of the brain activity perceived from EEG data. These findings yield valuable insights for neural decoding and brain-computer interfaces in real-world scenarios. The code will be released on https://github.com/eeyhsong/NICE-EEG.

研究の動機と目的

• EEGから物体認識のための画像表現を明示的なラベルなしで学習する実現性を示す。
• 対照学習を用いた自己教師付きEEG–画像整列フレームワークを構築する。
• EEG信号の時刻・空間・スペクトル・意味論的側面を物体認識に関連して調査する。
• 電極チャネルの相関を可視化するための空間注意モジュールを組み込む。
• ニューロ decodingと実用的なブレイン・コンピュータ・インターフェースへの洞察を提供する。

提案手法

• 対になった stimuli からモダリティ特異的特徴を抽出するため画像エンコーダとEEGエンコーダを使用する。
• 対応する画像–EEGペアを類似性を最大化し、非対応ペアを最小化するためにコントラスト学習（InfoNCE）を適用する。
• 未知の画像概念に対するゼロショット一般化を可能にする自己教師付き訓練目的を採用する。
• TSConvによる時空推論を取り入れ、自己注意機構とグラフ注意モジュールをプラグインして空間的脳動態を捉える。
• 外部画像データセット（例：CLIP/ViT/ResNet）で画像エンコーダを事前訓練し、EEG表現と整合させる。
• 200クラスのゼロショット分類で評価し、時系列・空間・スペクトルの寄与を分析する。

実験結果

リサーチクエスチョン

• RQ1 EEG信号を自己教師付きで用いて物体認識のための画像表現を学習できるか。
• RQ2 EEGデータから未知の画像概念へのゼロショットデコードはどの程度一般化できるか。
• RQ3 物体認識を支えるEEG信号の時系列・空間・スペクトル特性は何か。
• RQ4 空間モジュール（自己注意、グラフ注意）はデコードに意味のある脳領域の寄与を明らかにするか。
• RQ5 異なる画像エンコーダ（ResNet、ViT、CLIP）はEEG–画像整合と分類性能にどう影響するか。

主な発見

• NICEフレームワークは大規模なEEG–画像データセットに対して有意に上回るゼロショット性能を達成している（200ウェイ課題で被験者依存設定のトップ1は平均13.8%、被験者非依存設定のトップ1は6.2%）。
• 自己注意またはグラフ注意を組み込むと被験者依存のトップ1精度が最大で約1.8ポイント向上する。
• TSConvベースのEEGエンコーディングは複数のベースラインEEGエンコーダを上回り、ShallowNetに対して平均トップ1で最大5.9ポイント、Conformerに対して約2.7ポイントの向上を示す。
• 事前訓練済み画像エンコーダ（特にCLIP）は非事前訓練モデルよりEEG–画像整合とデコード性能が高い。
• 時系列解析では物体デコードに対して100–600 msのウィンドウが最も情報量が多く、後頭葉（occipital）、側頭葉、頭頂葉領域が寄与する。
• シータ帯とベータ帯（約4 Hzおよび14–18 Hz）は有効なデコードを示す一方、ガンマ帯情報はこの設定では未検出。