[论文解读] Multi-Region Neural Representation: A novel model for decoding visual stimuli in human brains

Muhammad Yousefnezhad, Daoqiang Zhang|arXiv (Cornell University)|Dec 26, 2016

Visual perception and processing mechanisms被引用 3

一句话总结

本文提出多区域神经表征（Multi-Region Neural Representation），一种新颖的基于fMRI的解码模型，可自动检测每类刺激下的活跃脑区，并利用基于快照的神经活动表征提升视觉刺激解码性能。通过采用ROI级别的高斯平滑、L1正则化支持向量机（SVM）及袋装（bagging）方法，该方法有效降低噪声与稀疏性，在四个视觉类别（单词、辅音、物体、无意义图片）中均实现最先进水平的准确率与AUC值，同时降低计算成本并提升神经科学家可解释性。

ABSTRACT

Multivariate Pattern (MVP) classification holds enormous potential for decoding visual stimuli in the human brain by employing task-based fMRI data sets. There is a wide range of challenges in the MVP techniques, i.e. decreasing noise and sparsity, defining effective regions of interest (ROIs), visualizing results, and the cost of brain studies. In overcoming these challenges, this paper proposes a novel model of neural representation, which can automatically detect the active regions for each visual stimulus and then utilize these anatomical regions for visualizing and analyzing the functional activities. Therefore, this model provides an opportunity for neuroscientists to ask this question: what is the effect of a stimulus on each of the detected regions instead of just study the fluctuation of voxels in the manually selected ROIs. Moreover, our method introduces analyzing snapshots of brain image for decreasing sparsity rather than using the whole of fMRI time series. Further, a new Gaussian smoothing method is proposed for removing noise of voxels in the level of ROIs. The proposed method enables us to combine different fMRI data sets for reducing the cost of brain studies. Experimental studies on 4 visual categories (words, consonants, objects and nonsense photos) confirm that the proposed method achieves superior performance to state-of-the-art methods.

研究动机与目标

• 解决fMRI数据在视觉刺激解码中噪声与稀疏性的问题。
• 通过实现自动、刺激特异性的ROI检测，克服多变量模式分析（MVP）中手动定义ROI的局限性。
• 通过分析时间快照而非完整fMRI时间序列，降低计算复杂度并提升模型鲁棒性。
• 通过提供解剖区域级别的功能活动表征而非体素级别模式，提升模型对神经科学家的可解释性。
• 通过无需昂贵归一化即可整合异质fMRI数据集，实现跨数据集整合，从而降低脑科学研究成本。

提出的方法

• 通过在平滑化设计矩阵中识别局部最大值，提取每类视觉刺激的脑活动时间快照，表征峰值反应时间的神经活动。
• 将fMRI数据转换至标准空间，并将每个快照分割为自动检测到的解剖区域，以定义动态、刺激特异性的ROI。
• 应用一种新型ROI级别高斯平滑方法，在保留区域功能信号完整性的同时降低体素噪声。
• 在ROI级别使用L1正则化支持向量机（SVM）进行二分类，以确保稀疏性与特征选择。
• 通过袋装（Bagging）集成方法组合各ROI级别分类器，构建鲁棒的多变量模式（MVP）分类器。
• 在受试者级别采用留一法交叉验证，评估在多个数据集（DS105、DS107、DS117）及合并数据上的性能。

实验结果

研究问题

• RQ1 使用脑活动快照而非完整fMRI时间序列的模型，是否能提升解码性能并降低稀疏性？
• RQ2 自动、刺激特异性的ROI检测是否在基于MVP的视觉刺激解码中优于手动选择的ROI？
• RQ3 与体素级别或标准平滑相比，ROI级别高斯平滑是否能更有效地提升噪声抑制与分类准确率？
• RQ4 所提出方法是否能有效整合异质fMRI数据集而无需归一化，从而降低研究成本并提升鲁棒性？
• RQ5 多区域神经表征模型在多大程度上通过将刺激效应与特定解剖脑区关联，提升对神经科学家的可解释性？

主要发现

• 所提方法在所有四个视觉类别（单词、辅音、物体、无意义图片）中均实现更优的分类准确率与AUC值，优于SVM、Graph Net、Elastic Net及L1正则化SVM等最先进方法。
• 在整合所有数据集（DS105、DS107、DS117）时，所提方法保持高性能，而其他方法因归一化挑战导致性能显著下降。
• 采用基于快照的神经表征有效降低数据稀疏性与计算复杂度，实现更快训练速度与更低存储需求。
• ROI级别高斯平滑有效降低噪声，同时保留功能信号，显著提升模型鲁棒性与准确率。
• 该方法实现了对自动检测解剖区域上刺激效应的可解释性可视化，为神经科学家提供了刺激与区域脑活动之间更清晰的关联。
• 该框架展现出强大的泛化能力与可扩展性，在整合多个受试者与刺激的fMRI数据集时，性能持续提升。