[论文解读] CrossPT-EEG: A Benchmark for Cross-Participant and Cross-Time Generalization of EEG-based Visual Decoding

Shuqi Zhu, Ziyi Ye+2 more|arXiv (Cornell University)|Jun 11, 2024

EEG and Brain-Computer Interfaces被引用 4

一句话总结

本文提出了 EEG-ImageNet，一个大规模的 EEG 数据集，包含 16 名参与者和来自 ImageNet-21k 的 4,000 张图像刺激，支持多粒度（粗粒度和细粒度）标签。该数据集为基于 EEG 的视觉解码中的跨被试和跨时间泛化建立了基准，使用基于 CLIP 的模型实现了 60.88% 的物体分类准确率和 64.67% 的两向识别率用于图像重建。

ABSTRACT

Exploring brain activity in relation to visual perception provides insights into the biological representation of the world. While functional magnetic resonance imaging (fMRI) and magnetoencephalography (MEG) have enabled effective image classification and reconstruction, their high cost and bulk limit practical use. Electroencephalography (EEG), by contrast, offers low cost and excellent temporal resolution, but its potential has been limited by the scarcity of large, high-quality datasets and by block-design experiments that introduce temporal confounds. To fill this gap, we present CrossPT-EEG, a benchmark for cross-participant and cross-time generalization of visual decoding from EEG. We collected EEG data from 16 participants while they viewed 4,000 images sampled from ImageNet, with image stimuli annotated at multiple levels of granularity. Our design includes two stages separated in time to allow cross-time generalization and avoid block-design artifacts. We also introduce benchmarks tailored to non-block design classification, as well as pre-training experiments to assess cross-time and cross-participant generalization. These findings highlight the dataset's potential to enhance EEG-based visual brain-computer interfaces, deepen our understanding of visual perception in biological systems, and suggest promising applications for improving machine vision models.

研究动机与目标

• 为解决视觉神经科学研究中缺乏大规模、高质量、具有多粒度标签的 EEG 数据集的问题。
• 通过提供全面的基准，实现基于 EEG 的视觉解码中的跨被试和跨时间泛化。
• 支持开发稳健的脑机接口（BCIs），并通过 EEG 改进对人类视觉感知的理解。
• 促进深度学习模型在 EEG 信号上的应用，以实现物体分类和图像重建任务。
• 克服现有 EEG 数据集规模小且缺乏细粒度分类的局限性。

提出的方法

• 从 16 名受试者收集 EEG 记录，其暴露于来自 ImageNet-21k 的 4,000 张图像，每类 80 个类别中每类 50 张图像。
• 设计数据集以支持粗粒度（40 个类别）和细粒度（40 个类别）的分类任务。
• 将 EEG 信号与 BLIP 模型生成的图像字幕对齐，以支持图像重建流程。
• 训练并评估多种深度学习模型（包括 AlexNet、Inception 和 CLIP）用于物体分类和图像重建。
• 使用两向识别作为图像重建的评估指标，将生成的图像与原始图像和干扰图像进行比较。
• 采用顺序数据分割和短段长度，以减轻时间上的数据泄露，提升跨时间泛化能力。

实验结果

研究问题

• RQ1 基于大规模 EEG 数据集和多粒度标签，基于 EEG 的视觉解码模型能否在不同被试之间实现泛化？
• RQ2 在标准化基准上，基于 EEG 的物体分类和图像重建的性能上限是什么？
• RQ3 模型架构，特别是视觉 Transformer 模型（如 CLIP），在 EEG 到图像重建任务中的表现有何影响？
• RQ4 多粒度标签在多大程度上提升了基于 EEG 的视觉解码模型的可解释性和实用性？
• RQ5 如何利用该大规模 EEG 数据集增强领域自适应和迁移学习，以实现跨被试泛化？

主要发现

• 表现最佳的模型在 80 类物体分类任务中达到了 60.88% 的准确率，表明在 EEG-ImageNet 上具有强大的跨被试泛化能力。
• 基于 CLIP 的模型在图像重建中实现了最高的两向识别率（64.67%），优于其他模型架构。
• 图像重建结果表明，类别级别的信息得以保留，但颜色、形状和位置等低层次细节恢复不准确。
• 使用 BLIP 生成的字幕进行 EEG-图像对齐限制了重建的精度，表明需要更精确的信号对齐方法。
• 不同被试之间的性能存在差异，表明神经响应存在个体差异，需要个性化或领域自适应模型。
• 该数据集能够实现对跨时间与跨被试泛化的有意义评估，为未来 BCI 和神经影像学研究提供了基础。