[论文解读] Category decoding of visual stimuli from human brain activity using a bidirectional recurrent neural network to simulate bidirectional information flows in human visual cortices

Kai Qiao, Jian Chen+5 more|arXiv (Cornell University)|Mar 19, 2019

Visual perception and processing mechanisms参考文献 35被引用 5

一句话总结

该论文提出一种双向循环神经网络（BRNN）模型，通过模拟人类视觉皮层中的自下而上和自上而下的信息流，从fMRI数据中解码视觉物体类别。通过将视觉区域（V1–LO）的fMRI体素响应视为序列输入，BRNN捕捉了分层的、双向的表征，相较于现有方法，实现了更高的三级类别解码准确率。

ABSTRACT

Recently, visual encoding and decoding based on functional magnetic resonance imaging (fMRI) have realized many achievements with the rapid development of deep network computation. Despite the hierarchically similar representations of deep network and human vision, visual information flows from primary visual cortices to high visual cortices and vice versa based on the bottom-up and top-down manners, respectively. Inspired by the bidirectional information flows, we proposed a bidirectional recurrent neural network (BRNN)-based method to decode the categories from fMRI data. The forward and backward directions in the BRNN module characterized the bottom-up and top-down manners, respectively. The proposed method regarded the selected voxels of each visual cortex region (V1, V2, V3, V4, and LO) as one node in the sequence fed into the BRNN module and combined the output of the BRNN module to decode the categories with the subsequent fully connected layer. This new method allows the efficient utilization of hierarchical information representations and bidirectional information flows in human visual cortices. Experiment results demonstrated that our method improved the accuracy of three-level category decoding than other methods, which implicitly validated the hierarchical and bidirectional human visual representations. Comparative analysis revealed that the category representations of human visual cortices were hierarchical, distributed, complementary, and correlative.

研究动机与目标

• 开发一种深度学习模型，以模拟人类视觉皮层中的双向信息流，从而提升从fMRI数据中解码视觉类别的性能。
• 探究建模自下而上和自上而下处理是否相较于单向或前馈网络能提升解码性能。
• 验证人类视觉皮层区域间视觉类别表征的分层性、分布式性以及相关性。
• 通过建模皮层活动序列，提升使用fMRI数据进行多级视觉类别分类的准确率。

提出的方法

• 该方法使用双向循环神经网络（BRNN）处理来自五个视觉皮层区域（V1、V2、V3、V4、LO）的fMRI体素响应作为序列输入。
• 将每个区域的选定体素视为序列中的一个节点，使BRNN能够建模不同皮层区域之间的时序动态。
• BRNN的前向传播方向模拟从初级视觉区域到高级视觉区域的自下而上处理，而后向传播方向则模拟自上而下的反馈。
• 将BRNN的前向和后向隐藏状态拼接后输入全连接层，完成最终的类别分类。
• 该模型通过端到端的监督学习进行训练，以从fMRI活动模式中预测视觉物体类别。
• 该方法利用分层的和双向的表征，以提升解码性能。

实验结果

研究问题

• RQ1 在视觉皮层中建模双向信息流是否能提升从fMRI数据中解码类别的准确率？
• RQ2 视觉区域间分层且分布式的表征如何促进类别解码？
• RQ3 在循环架构中结合自下而上和自上而下处理是否比单向或前馈模型更有效？
• RQ4 不同视觉皮层区域之间的视觉类别表征在多大程度上是互补且相关的？

主要发现

• 所提出的基于BRNN的方法在fMRI数据集上相较于其他最先进方法，实现了更高的三级类别解码准确率。
• 准确率的提升表明，建模双向信息流能增强fMRI数据中视觉类别的表征能力。
• 对比分析证实，人类视觉皮层中的视觉类别表征具有分层性、分布式性、互补性和相关性。
• 结果在隐含层面上验证了BRNN架构在模拟人类视觉处理方面的生物合理性。
• BRNN的前向和后向方向有效捕捉了视觉信息流中自下而上和自上而下的处理动态。