[论文解读] Decoding Natural Images from EEG for Object Recognition

Yonghao Song, Bingchuan Liu+4 more|arXiv (Cornell University)|Aug 25, 2023

EEG and Brain-Computer Interfaces被引用 8

一句话总结

一个自监督框架（NICE）通过对比学习从EEG信号解码图像表示，实现对大型EEG–图像数据集的零-shot对象识别，并通过空间注意力模块揭示参与对象识别的脑区。

ABSTRACT

Electroencephalography (EEG) signals, known for convenient non-invasive acquisition but low signal-to-noise ratio, have recently gained substantial attention due to the potential to decode natural images. This paper presents a self-supervised framework to demonstrate the feasibility of learning image representations from EEG signals, particularly for object recognition. The framework utilizes image and EEG encoders to extract features from paired image stimuli and EEG responses. Contrastive learning aligns these two modalities by constraining their similarity. With the framework, we attain significantly above-chance results on a comprehensive EEG-image dataset, achieving a top-1 accuracy of 15.6% and a top-5 accuracy of 42.8% in challenging 200-way zero-shot tasks. Moreover, we perform extensive experiments to explore the biological plausibility by resolving the temporal, spatial, spectral, and semantic aspects of EEG signals. Besides, we introduce attention modules to capture spatial correlations, providing implicit evidence of the brain activity perceived from EEG data. These findings yield valuable insights for neural decoding and brain-computer interfaces in real-world scenarios. The code will be released on https://github.com/eeyhsong/NICE-EEG.

研究动机与目标

• 证明从EEG中学习用于对象识别的图像表示的可行性（无需显式标签）。
• 构建一个使用对比学习的自监督EEG–图像对齐框架。
• 探索与对象识别相关的EEG信号在时间、空间、频谱和语义方面的特征。
• 引入空间注意力模块以揭示电极通道之间的相关性。
• 提供对神经解码和实际脑机接口的见解。

提出的方法

• 使用图像和EEG编码器从成对刺激中提取模态特定特征。
• 应用对比学习（InfoNCE）最大化匹配的图像–EEG对的相似性，最小化不匹配对的相似性。
• 采用自监督训练目标，使对未见图像概念的零-shot泛化成为可能。
• 用时空卷积（TSConv）对EEG编码器进行改造，并引入自注意力和图注意力模块以捕捉空间脑动态。
• 在外部图像数据集上对图像编码器进行预训练（如CLIP/ViT/ResNet），并与EEG表征对齐。
• 以200类零-shot分类进行评估，并分析时间、空间、频谱的贡献。

实验结果

研究问题

• RQ1 EEG信号是否可以以自监督方式用于对象识别学习图像表示？
• RQ2 EEG数据对未见图像概念的零-shot解码在多大程度上具有泛化性？
• RQ3 支持对象识别的EEG信号在时间、空间和频谱上有哪些特征？
• RQ4 空间模块（自注意力、图注意力）是否揭示对解码有意义的脑区贡献？
• RQ5 不同的图像编码器（ResNet、ViT、CLIP）如何影响EEG–图像对齐和分类性能？

主要发现

• NICE框架在一个大型EEG–图像数据集上显著高于随机水平地实现零-shot性能（在200类任务中，按报告的平均值，受试者相关设置的top-1为13.8%，受试者独立设置的top-1为6.2%）。
• 引入自注意力或图注意力将受试者依赖的top-1准确率提升最多约1.8个百分点。
• 基于TSConv的EEG编码在跨受试者的多项基线编码器中表现更好，平均top-1提升在ShallowNet上约5.9个百分点，在Conformer上约2.7个百分点。
• 预训练的图像编码器（特别是CLIP）比非预训练模型在EEG–图像对齐和解码性能上更高。
• 时间分析显示100–600 ms窗口对对象解码最具信息量，枕叶、颞叶和顶叶区域有贡献。
• 通常4 Hz和14–18 Hz的θ（theta）和β波段表现出有效解码，而γ波段的信息在此设置中尚不明显。