[论文解读] Deep learning of fMRI big data: a novel approach to subject-transfer decoding

Sotetsu Koyamada, Yumi Shikauchi+3 more|arXiv (Cornell University)|Jan 31, 2015

Functional Brain Connectivity Studies参考文献 6被引用 54

一句话总结

本文提出了一种基于深度神经网络（DNN）的fMRI数据主体迁移解码器，利用人类连接组计划（Human Connectome Project）的大规模数据集（超过500名受试者）进行训练，其解码准确率高于支持向量机（SVM）和逻辑回归基线模型。该方法通过主敏感性分析（PSA）成功捕捉了与受试者无关的非线性特征，揭示了与功能连接网络相关的判别性脑区。

ABSTRACT

As a technology to read brain states from measurable brain activities, brain decoding are widely applied in industries and medical sciences. In spite of high demands in these applications for a universal decoder that can be applied to all individuals simultaneously, large variation in brain activities across individuals has limited the scope of many studies to the development of individual-specific decoders. In this study, we used deep neural network (DNN), a nonlinear hierarchical model, to construct a subject-transfer decoder. Our decoder is the first successful DNN-based subject-transfer decoder. When applied to a large-scale functional magnetic resonance imaging (fMRI) database, our DNN-based decoder achieved higher decoding accuracy than other baseline methods, including support vector machine (SVM). In order to analyze the knowledge acquired by this decoder, we applied principal sensitivity analysis (PSA) to the decoder and visualized the discriminative features that are common to all subjects in the dataset. Our PSA successfully visualized the subject-independent features contributing to the subject-transferability of the trained decoder.

研究动机与目标

• 开发一种能够跨个体泛化的通用脑解码器，以克服个体特异性解码器的局限性。
• 利用大规模fMRI数据上的深度学习，提取非线性、与受试者无关的特征，以提升解码性能。
• 识别并可视化跨受试者共有的判别性脑特征，采用主敏感性分析（PSA）。
• 证明解码器性能随着训练数据规模的增加而单调提升，表明其有效学习了通用特征。

提出的方法

• 在人类连接组计划（HCP S500发布版）的499名受试者任务诱发fMRI数据上训练深度神经网络（DNN），以7种认知任务类别作为标签。
• 采用多层非线性DNN架构，以建模跨受试者fMRI活动模式的复杂分层表征。
• 使用主敏感性分析（PSA）识别并可视化每类任务的最关键脑区（ROI），并为每类计算主敏感性图（PSM）。
• 通过扰动输入特征并测量输出变化来计算PSM，重点关注与均值相差至少一个标准差的脑区。
• 使用余弦相似度评估PSM之间的相似性，并应用层次聚类揭示类特异性特征之间的结构关系。
• 在独立的受试者无关测试集上，通过5折交叉验证比较DNN与基线方法（SVM、逻辑回归）的性能。

实验结果

研究问题

• RQ1 在大规模异构fMRI数据上训练的深度神经网络是否能够跨个体泛化，实现高解码准确率？
• RQ2 在多样化个体中，哪些与受试者无关的脑特征对解码任务类别最为关键？
• RQ3 DNN解码器的性能如何随训练数据规模的增加而变化？
• RQ4 PSA识别出的判别性特征在多大程度上与已知的功能脑网络一致？

主要发现

• 基于DNN的主体迁移解码器在未见受试者的独立测试数据上，解码准确率显著高于SVM和逻辑回归基线模型。
• 随着训练受试者数量的增加，解码准确率单调提升，表明有效学习了通用的、与受试者无关的特征。
• 主敏感性分析（PSA）成功识别出判别性脑区，特别是额顶叶网络和默认模式网络中的区域，这些区域在所有受试者中均表现出持续重要性。
• PSM揭示了最具影响力脑区与已知功能连接网络之间的非平凡关联，例如背侧注意网络和默认模式网络。
• PSM的余弦相似度分析显示类特异性特征之间存在结构化关系，层次聚类揭示了任务类别的功能性分组。
• 结果表明，跨个体共有的功能连接模式是DNN解码器泛化能力的内在基础。