[论文解读] A General Framework for Revealing Human Mind with auto-encoding GANs

Pan Wang, Rui Zhou+7 more|arXiv (Cornell University)|Feb 10, 2021

Neural dynamics and brain function参考文献 14被引用 4

一句话总结

该论文提出了一种端到端的脑解码框架，利用自编码生成对抗网络（auto-encoding GANs）将脑活动转化为视觉图像，通过将EEG和fMRI信号的潜在表征与图像特征对齐，实现了高保真度的心理图像重建。fMRI-based重建方法由于信号分辨率更高，表现优于EEG，使用SSIM和MSE进行图像相似性比较时，正确率接近100%。

ABSTRACT

Addressing the question of visualising human mind could help us to find regions that are associated with observed cognition and responsible for expressing the elusive mental image, leading to a better understanding of cognitive function. The traditional approach treats brain decoding as a classification problem, reading the mind through statistical analysis of brain activity. However, human thought is rich and varied, that it is often influenced by more of a combination of object features than a specific type of category. For this reason, we propose an end-to-end brain decoding framework which translates brain activity into an image by latent space alignment. To find the correspondence from brain signal features to image features, we embedded them into two latent spaces with modality-specific encoders and then aligned the two spaces by minimising the distance between paired latent representations. The proposed framework was trained by simultaneous electroencephalogram and functional MRI data, which were recorded when the subjects were viewing or imagining a set of image stimuli. In this paper, we focused on implementing the fMRI experiment. Our experimental results demonstrated the feasibility of translating brain activity to an image. The reconstructed image matches image stimuli approximate in both shape and colour. Our framework provides a promising direction for building a direct visualisation to reveal human mind.

研究动机与目标

• 为解决传统脑解码作为分类任务的局限性，实现从脑活动到图像的端到端重建。
• 通过潜在空间对齐，建立脑信号特征与图像特征之间的直接映射。
• 评估使用统一的生成框架从EEG和fMRI信号中重建心理图像的可行性。
• 比较EEG与fMRI在重建视觉心理内容方面的性能，重点关注图像质量和特征保真度。

提出的方法

• 该框架使用模态特定的编码器，将脑信号（EEG/fMRI）和图像嵌入到共享的潜在空间中。
• 通过最小化成对潜在表示之间的L2距离，对脑活动和图像的潜在表征进行对齐。
• 使用变分自编码器对图像特征学习和图像生成进行预训练，作为生成模型的核心。
• 训练脑信号编码器，使其将fMRI和EEG信号映射到与图像特征相同的潜在空间。
• 模型在同步采集的EEG-fMRI数据上进行训练，数据采集任务包括图像观看和心理图像生成。
• 通过将脑活动的对齐潜在表征解码为视觉图像，完成图像重建。

实验结果

研究问题

• RQ1 能否使用端到端深度生成建模，将脑活动直接转化为视觉图像？
• RQ2 脑信号与图像特征之间的潜在空间对齐，能在多大程度上实现心理图像的重建？
• RQ3 EEG与fMRI在重建视觉心理内容方面，性能相对如何？
• RQ4 与原始刺激相比，重建图像在形状和颜色信息保留方面达到何种程度？

主要发现

• 基于fMRI的框架在SSIM比较中实现了约80%的成对图像相似性正确率，表明其在形状和颜色重建方面具有高质量表现。
• 基于EEG的框架在相似性比较中正确率约为60%，表明其可实现可检测但模糊的图像重建。
• alpha-GAN基线模型（以真实图像作为输入）在图像相似性比较中实现了接近100%的正确率，证实了模型的建模能力。
• 尽管图像质量较低，EEG信号的分类率高于fMRI，表明EEG可能更适合类别级别的解码。
• 该框架成功从fMRI和EEG信号中重建出心理图像，证明了人类思维直接可视化在技术上的可行性。