[论文解读] Learning shared neural manifolds from multi-subject FMRI data

Jessie Huang, Erica L. Busch+7 more|arXiv (Cornell University)|Dec 22, 2021

EEG and Brain-Computer Interfaces被引用 4

一句话总结

该论文提出MRMD-AE，一种深度神经网络，通过将个体脑活动编码到共享潜在空间的同时，利用多个解码器保留个体特异性特征，从多被试fMRI数据中学习共享的低维流形。该方法在刺激分类、零样本映射未见数据点以及跨被试fMRI转换方面表现优越，优于线性基线方法及先前的SRM和PHATE方法，在准确率和对齐度上均有提升。

ABSTRACT

Functional magnetic resonance imaging (fMRI) is a notoriously noisy measurement of brain activity because of the large variations between individuals, signals marred by environmental differences during collection, and spatiotemporal averaging required by the measurement resolution. In addition, the data is extremely high dimensional, with the space of the activity typically having much lower intrinsic dimension. In order to understand the connection between stimuli of interest and brain activity, and analyze differences and commonalities between subjects, it becomes important to learn a meaningful embedding of the data that denoises, and reveals its intrinsic structure. Specifically, we assume that while noise varies significantly between individuals, true responses to stimuli will share common, low-dimensional features between subjects which are jointly discoverable. Similar approaches have been exploited previously but they have mainly used linear methods such as PCA and shared response modeling (SRM). In contrast, we propose a neural network called MRMD-AE (manifold-regularized multiple decoder, autoencoder), that learns a common embedding from multiple subjects in an experiment while retaining the ability to decode to individual raw fMRI signals. We show that our learned common space represents an extensible manifold (where new points not seen during training can be mapped), improves the classification accuracy of stimulus features of unseen timepoints, as well as improves cross-subject translation of fMRI signals. We believe this framework can be used for many downstream applications such as guided brain-computer interface (BCI) training in the future.

研究动机与目标

• 为解决fMRI数据中高噪声和被试间差异性的问题，学习一个共享的低维潜在空间，以捕捉个体间共有的神经反应。
• 通过解耦共享神经模式与个体特异性噪声，实现从fMRI数据中稳健的刺激分类。
• 通过学习可扩展的流形，将先前未见过的时间点映射到共享潜在空间，支持零样本泛化。
• 在无需成对数据的情况下，促进跨被试fMRI信号转换，实现从一个被试的脑活动预测另一个被试的脑活动。
• 通过利用具有共享与个体特异性组件的非线性流形正则化深度自编码器，超越PCA和SRM等线性方法。

提出的方法

• 该模型使用共享编码器将多被试fMRI数据映射到一个共同的低维潜在空间，保留与刺激相关的共享特征，同时过滤掉个体噪声。
• 它采用多个被试特定的解码器，从共享潜在表示中重建个体fMRI信号，从而实现共享与个体成分的解耦。
• 该框架通过基于PHATE的损失引入流形正则化，以保持跨被试神经活动的内在几何结构。
• 引入潜在空间对齐惩罚项（λ > 0），以在共享空间中强制实现被试间的结构相似性，减少批次效应。
• 在训练过程中应用翻译损失，显式优化跨被试信号转换，提升零样本设置下的性能。
• 模型通过联合损失函数端到端训练，平衡重建损失、流形正则化损失以及对齐/翻译惩罚项。

实验结果

研究问题

• RQ1 具有共享与被试特定组件的深度自编码器能否学习到一个共同的神经流形，使刺激分类性能超越线性方法？
• RQ2 共享潜在空间能否支持对未见fMRI时间点的零样本映射，实现在新数据上的泛化？
• RQ3 流形正则化与潜在空间对齐在多大程度上提升了跨被试fMRI信号转换性能？
• RQ4 MRMD-AE在分类与转换任务中，相较于线性基线（如PCA、SRM）和非线性方法（如PHATE）的性能如何？
• RQ5 该模型能否在无需显式成对数据的情况下，仅利用共享刺激响应实现跨被试转换？

主要发现

• MRMD-AE在未见时间点上的分类准确率达到0.5837 ± 0.0209，优于次佳方法（AE为0.5613 ± 0.0220）。
• 该模型在跨被试转换方面表现更优，在早期视觉ROI上实现均方误差（MSE）为0.1933、相关系数为1.3626（使用潜在空间对齐时，λ > 0），优于未微调的基线方法。
• 通过显式翻译损失，MRMD-AE在pmc ROI上实现了最低的翻译MSE（0.1647），性能甚至超过SRM和PCA。
• PHATE可视化结果表明，与原始fMRI数据相比，共享潜在空间显著降低了批次效应，且随着对齐惩罚项λ的增加，地球移动距离（EMD）持续减小。
• 共享潜在空间支持可扩展的流形学习，使新未见数据点可被映射到共同表示中而无需重新训练。
• 引入潜在空间对齐惩罚项（λ > 0）同时提升了分类与转换性能，证明了共享空间中结构不变性的重要性。