[论文解读] Mapping individual differences in cortical architecture using multi-view representation learning

Akrem Sellami, François-Xavier Dupé+5 more|arXiv (Cornell University)|Apr 1, 2020

Functional Brain Connectivity Studies参考文献 34被引用 8

一句话总结

本文提出一种多视角深度自编码器，将任务fMRI与静息态fMRI数据融合为共享潜在表征，从而提升对个体脑功能差异的预测能力。该方法优于单模态模型，R²达到0.294（MSE = 0.050），并生成与语音处理中已知功能网络一致的生物合理且可解释的脑图谱。

ABSTRACT

In neuroscience, understanding inter-individual differences has recently emerged as a major challenge, for which functional magnetic resonance imaging (fMRI) has proven invaluable. For this, neuroscientists rely on basic methods such as univariate linear correlations between single brain features and a score that quantifies either the severity of a disease or the subject's performance in a cognitive task. However, to this date, task-fMRI and resting-state fMRI have been exploited separately for this question, because of the lack of methods to effectively combine them. In this paper, we introduce a novel machine learning method which allows combining the activation-and connectivity-based information respectively measured through these two fMRI protocols to identify markers of individual differences in the functional organization of the brain. It combines a multi-view deep autoencoder which is designed to fuse the two fMRI modalities into a joint representation space within which a predictive model is trained to guess a scalar score that characterizes the patient. Our experimental results demonstrate the ability of the proposed method to outperform competitive approaches and to produce interpretable and biologically plausible results.

研究动机与目标

• 解决结合任务fMRI（基于激活）与静息态fMRI（基于连接性）数据以建模个体脑功能差异的挑战。
• 开发一种机器学习框架，将异质性fMRI模态融合至联合表征空间，以提升预测建模性能。
• 通过将模型预测与已知功能脑网络关联，生成可解释且具有神经科学意义的结果。
• 证明多模态融合在预测与认知表现相关的行为评分方面优于单模态方法。

提出的方法

• 使用多视角深度自编码器（MDAE）通过拼接其瓶颈层，从任务fMRI和静息态fMRI输入中学习共享潜在表征。
• MDAE在编码器和解码器中采用不同的激活函数（ReLU、sigmoid、线性），以建模fMRI模态间的非线性关系。
• 在融合后的潜在空间中训练迹回归模型，以预测标量行为评分，如认知任务表现或疾病严重程度。
• 该方法采用联合表征空间，保留了来自激活与连接性模式的互补信息。
• 通过迹回归系数将回归权重映射回脑区，实现模型的可解释性。
• 使用公开的语音识别数据集进行评估，并通过消融研究评估各模态的贡献。

实验结果

研究问题

• RQ1 多视角深度自编码器能否有效将任务fMRI与静息态fMRI数据融合为共享且信息丰富的潜在表征，以建模个体差异？
• RQ2 与单模态模型相比，融合基于激活与连接性的fMRI特征是否能提升行为评分的预测准确率？
• RQ3 所得的预测模型是否具有可解释性，并与已知的功能脑网络神经科学发现一致？
• RQ4 任务fMRI与静息态fMRI对最终预测性能的相对贡献如何？
• RQ5 融合表征能否增强检测微小但有意义的脑网络效应的统计效能？

主要发现

• 采用拼接瓶颈层的多视角自编码器优于使用拼接输入的模型，实现了最低的均方误差（MSE）0.050，R²为0.294。
• 当从任务fMRI中提取更多特征（10个中的8个）而非静息态fMRI（10个中的2个）时，性能最佳，表明任务fMRI对预测贡献更大。
• 采用MDAE(relu, sigmoid)架构与10维潜在空间的模型结果最稳健，R²稳定在0.294 ± 0.0048。
• 从融合表征生成的迹回归权重图在双侧颞上回及中央前回/下额回区域显示出显著的大范围聚集，与已知的语音处理网络一致。
• 该模型检测到了此前在小样本中难以识别的额叶区域，表明融合表征可能提升了统计效能。
• 对结果的神经科学解释与既有关于听觉处理的文献高度一致，验证了该方法的生物学合理性。