[论文解读] Brain2Object: Printing Your Mind from Brain Signals with Spatial Correlation Embedding

Xiang Zhang, Lina Yao+4 more|arXiv (Cornell University)|Oct 4, 2018

EEG and Brain-Computer Interfaces参考文献 39被引用 6

一句话总结

Brain2Object 提出了一种端到端的脑机接口系统，通过结合多类公共空间模式（CSP）与图嵌入卷积神经网络（CNN）的统一框架，解码视觉诱发的脑电信号，以识别个体正在观察的物体。该系统在基准数据集上达到 92.58% 的准确率，在本地数据集上达到 75.23% 的准确率，实现了通过脑电信号空间相关性的动态图表示，实时 3D 打印心理图像。

ABSTRACT

Electroencephalography (EEG) signals are known to manifest differential patterns when individuals visually concentrate on different objects. In this work, we present an end-to-end digital fabrication system, Brain2Object, to print the 3D object that an individual is observing by decoding visually-evoked brain signals. We propose a unified training framework that combines multi-class Common Spatial Pattern and Convolutional Neural Networks to support the backend computation. We learn the dynamical graph representations of brain signals to accurately capture the structural information among EEG channels. A user-friendly interface is developed as the system front end. Brain2Object presents a streamlined end-to-end workflow that can serve as a template for deeper integration of BCI technologies to assist with our routine activities. The proposed system is evaluated extensively using offline experiments and through an online demonstrator. The experimental results show that our approach can achieve the recognition accuracy of 92.58% on a benchmark dataset and 75.23% on a locally collected dataset. Moreover, our method consistently outperforms a wide range of baseline and state-of-the-art approaches. The proof-of-concept corroborates the practicality of our approach and illustrates the ease with which such a system could be deployed.

研究动机与目标

• 开发一种实时、端到端的系统，将视觉诱发的脑信号转化为被观察物体的物理 3D 打印复制品。
• 通过学习脑电信号通道之间的结构化空间相关性，解决非侵入性 EEG 信噪比低和空间分辨率差的问题。
• 通过将动态图表示与深度学习相结合，提升特征提取能力，从而提高基于 EEG 的物体识别准确率。
• 实现 BCI 技术在日常应用（如数字制造）中的实用化和用户友好部署。

提出的方法

• 应用多类公共空间模式（CSP）通过最大化不同视觉刺激之间的方差比，从原始 EEG 信号中提取紧凑且具有类别判别性的特征。
• 提出动态图表示（DGR），以学习自适应邻接矩阵，捕捉训练过程中脑电信号电极之间不断演变的空间相关性。
• 将嵌入 DGR 的 EEG 表示输入定制的卷积神经网络（CNN），以学习分层空间特征并分类所观察的物体。
• 通过用户友好的界面，集成实时 EEG 采集、模型推理与无线 3D 打印机控制，实现无缝端到端运行。
• 该框架在大型公开 EEG 数据集（EEG-P）和本地采集的具有稳态视觉刺激的数据集上进行训练与评估。

实验结果

研究问题

• RQ1 结合 CSP 与图嵌入 CNN 的统一深度学习框架能否有效解码视觉诱发的 EEG 信号以实现物体识别？
• RQ2 通过建模电极之间的空间相关性，动态图表示在多大程度上能提升 EEG 信号分类性能？
• RQ3 与离线评估相比，该系统在实时在线环境下的表现如何？
• RQ4 该系统能否以实用且用户友好的方式可靠地将心理图像转化为物理 3D 打印物体？

主要发现

• 所提出的 Brain2Object 系统在基准 EEG-P 数据集上达到 92.58% 的识别准确率，显著优于多个最先进基线方法。
• 在具有稳定视觉刺激的本地采集数据集上，系统达到 75.23% 的分类准确率，证明了其在真实环境中的鲁棒性。
• 在两个数据集中，将动态图表示与 CNN 结合均显著优于静态图和非图基线方法，表现出一致的性能提升。
• 在线演示结果表现低于离线评估，主要由于用户心理状态波动、电极导电性变化以及头戴设备位置不一致等因素。
• 系统延迟在实时应用中可接受，信号可视化证实了模型能够捕捉 EEG 通道间具有判别性的神经模式。