[论文解读] Accurate reconstruction of image stimuli from human fMRI based on the decoding model with capsule network architecture

Kai Qiao, Chi Zhang+5 more|arXiv (Cornell University)|Jan 2, 2018

EEG and Brain-Computer InterfacesNeuroscience参考文献 25被引用 18

一句话总结

该论文提出了一种新颖的解码模型 CNAVR，利用胶囊网络（CapsNet）架构从人脑fMRI数据中重建图像刺激，以提升特征表示能力和结构相似性。通过端到端学习从fMRI到高层胶囊特征的非线性映射，并反向重建为图像，该方法在手写数字重建任务中相比最先进方法SSIM提升了10%。

ABSTRACT

In neuroscience, all kinds of computation models were designed to answer the open question of how sensory stimuli are encoded by neurons and conversely, how sensory stimuli can be decoded from neuronal activities. Especially, functional Magnetic Resonance Imaging (fMRI) studies have made many great achievements with the rapid development of the deep network computation. However, comparing with the goal of decoding orientation, position and object category from activities in visual cortex, accurate reconstruction of image stimuli from human fMRI is a still challenging work. In this paper, the capsule network (CapsNet) architecture based visual reconstruction (CNAVR) method is developed to reconstruct image stimuli. The capsule means containing a group of neurons to perform the better organization of feature structure and representation, inspired by the structure of cortical mini column including several hundred neurons in primates. The high-level capsule features in the CapsNet includes diverse features of image stimuli such as semantic class, orientation, location and so on. We used these features to bridge between human fMRI and image stimuli. We firstly employed the CapsNet to train the nonlinear mapping from image stimuli to high-level capsule features, and from high-level capsule features to image stimuli again in an end-to-end manner. After estimating the serviceability of each voxel by encoding performance to accomplish the selecting of voxels, we secondly trained the nonlinear mapping from dimension-decreasing fMRI data to high-level capsule features. Finally, we can predict the high-level capsule features with fMRI data, and reconstruct image stimuli with the CapsNet. We evaluated the proposed CNAVR method on the dataset of handwritten digital images, and exceeded about 10% than the accuracy of all existing state-of-the-art methods on the structural similarity index (SSIM).

研究动机与目标

• 为解决尽管深度学习技术取得进展，但准确从人脑fMRI数据中重建视觉刺激仍具挑战性的问题。
• 通过利用胶囊网络提升fMRI解码中空间和语义特征（如方向、位置、类别）的表征能力。
• 开发一种端到端学习框架，实现从fMRI活动到高层胶囊特征的映射，并基于这些特征重建图像。
• 基于编码性能识别并利用fMRI数据中最具信息量的体素，以提升重建保真度。
• 通过分层、类似注意力的特征组织方式，弥合视觉皮层神经活动与感知图像重建之间的差距。

提出的方法

• 采用CapsNet架构学习从图像刺激到高层胶囊特征的非线性映射，这些特征编码了包括方向、位置和语义类别在内的多样化属性。
• 采用两阶段训练流程：首先，端到端地训练CapsNet，使其能够从图像映射到胶囊特征并再映射回图像。
• 通过评估每个体素的编码性能执行体素选择，仅保留最具信息量的体素，以降低维度并提高信号相关性。
• 从降维后的fMRI数据中训练第二个非线性映射，以实现从脑活动预测高层胶囊特征。
• 通过使用训练好的CapsNet解码预测的胶囊特征，实现像素级图像的重建。
• 使用手写数字图像数据集进行模型评估，性能通过结构相似性指数（SSIM）进行衡量。

实验结果

研究问题

• RQ1 与传统深度学习模型相比，胶囊网络是否能提升从人脑fMRI数据中重建图像的准确性？
• RQ2 胶囊网络在fMRI解码中，对方向、位置和语义类别等分层视觉特征的表征能力有多强？
• RQ3 基于CapsNet的解码器端到端训练是否能比传统自编码器或全连接架构获得更高的重建保真度？
• RQ4 基于编码性能的体素选择在多大程度上提升了fMRI解码中的重建质量？
• RQ5 胶囊网络中类似注意力的路由机制是否能比标准池化或卷积层更好地捕捉重建图像中的空间关系？

主要发现

• 所提出的CNAVR方法在从fMRI数据重建手写数字图像时，相比现有最先进方法，结构相似性指数（SSIM）提升了10%。
• 胶囊网络编码空间层次结构和与姿态相关特征的能力显著提升了重建图像的质量。
• 基于编码性能的体素选择有效减少了噪声和无关信号，增强了解码过程的鲁棒性。
• CapsNet的端到端训练相比具有独立特征提取与解码阶段的模型，实现了更好的泛化能力和更精确的重建。
• 高层胶囊特征成功捕捉了刺激的语义、空间和结构属性，实现了从fMRI模式中忠实的图像重建。
• 该方法在重建细粒度视觉细节和物体结构方面表现出优越性能，表明胶囊基表示在脑解码中的有效性。