[论文解读] Multimodal Brain Disease Classification with Functional Interaction Learning from Single fMRI Volume

Wei Dai, Ziyao Zhang+5 more|arXiv (Cornell University)|Aug 5, 2022

Functional Brain Connectivity Studies被引用 6

一句话总结

该论文提出BrainFormer，一种混合3D卷积神经网络与Transformer的架构，可直接从单个fMRI影像中学习功能交互关系，无需依赖预定义的感兴趣区域（ROIs），从而实现端到端的多模态脑疾病分类。该方法通过建模局部体素级线索与全局长程脑区相关性，在五种脑部疾病（自闭症、阿尔茨海默病、抑郁、ADHD和头痛）中均达到最先进性能，同时通过基于梯度的可视化实现可解释性生物标志物定位。

ABSTRACT

In neuroimaging analysis, fMRI can well assess the function changes for brain diseases with no obvious structural lesions. To date, most deep-learning-based fMRI studies have employed functional connectivity (FC) as the basic feature for disease classification. However, FC is calculated on time series of predefined regions of interest and neglects detailed information contained in each voxel. Another drawback of using FC is the limited sample size for the training of deep models. The low representation ability of FC leads to poor performance in clinical practice, especially when dealing with multimodal medical data involving multiple types of visual signals and textual records for brain diseases. To overcome this bottleneck problem in the fMRI feature modality, we propose BrainFormer, an end-to-end functional interaction learning method for brain disease classification with single fMRI volume. Unlike traditional deep learning methods that construct convolution and transformers on FC, BrainFormer learns the functional interaction from fMRI signals, by modeling the local cues within each voxel with 3D convolutions and capturing the global correlations among distant regions with specially designed global attention mechanisms from shallow layers to deep layers. Meanwhile, BrainFormer can deal with multimodal medical data including fMRI volume, structural MRI, FC features and phenotypic data to achieve more comprehensive brain disease diagnosis. We evaluate BrainFormer on five independent multi-site datasets on autism, Alzheimer's disease, depression, attention deficit hyperactivity disorder and headache disorders. The results demonstrate its effectiveness and generalizability for multiple brain diseases diagnosis with multimodal features. BrainFormer may promote precision of neuroimaging-based diagnosis in clinical practice and motivate future studies on fMRI analysis.

研究动机与目标

• 为克服基于功能连接（FC）的fMRI脑疾病分类方法的局限性，后者依赖人工设计的ROIs，且存在表征能力弱与样本量小的问题。
• 开发一种端到端的深度学习框架，直接从原始fMRI信号中学习功能交互关系，保留细粒度的体素级信息。
• 通过在统一架构中整合fMRI、结构MRI、FC特征与表型数据，实现稳健的多模态分类。
• 通过避免基于ROI的平均化处理，改用在3D fMRI影像上基于梯度的定位方法，提供可解释的、空间定位精确的疾病生物标志物。
• 通过处理具有不同扫描协议的多中心fMRI数据集，提升模型在跨站点场景下的泛化能力与可迁移性。

提出的方法

• BrainFormer在浅层使用3D卷积层，以捕捉单个fMRI影像中各体素的局部时空线索。
• 在深层引入两个专门设计的全局注意力模块，以建模远距离脑区间的功能相关性。
• 应用数据归一化层以缓解领域偏移问题，提升在不同扫描参数的多中心fMRI数据集上的泛化能力。
• 在多模态融合方面，fMRI由BrainFormer处理，FC特征与表型数据由一个3层MLP处理，所有模态在最终分类前进行拼接。
• 通过基于梯度的定位（GL）方法可视化疾病相关脑区，突出对预测贡献较高的体素。
• 模型采用交叉熵损失进行端到端训练，并通过标准反向传播进行优化。

实验结果

研究问题

• RQ1 深度学习模型能否在不依赖预定义ROIs或功能连接的前提下，直接从单个fMRI影像中学习功能交互？
• RQ2 与传统的基于FC的方法相比，从原始fMRI信号进行端到端学习是否能提升分类准确率？
• RQ3 BrainFormer能否在多种脑部疾病及具有不同采集协议的多中心数据集上实现良好泛化？
• RQ4 该模型能否在不进行ROI平均化处理的前提下，提供可解释且空间定位精确的生物标志物？
• RQ5 fMRI、结构MRI、FC与表型数据的多模态融合如何影响诊断性能？

主要发现

• 在ABIDE自闭症数据集上，BrainFormer达到72.5%的准确率，优于最先进的ASD-DiagNet方法，且无需数据增强或预训练。
• 在ADNI阿尔茨海默病数据集上，BrainFormer在3D CNN、SC-CNN、MMTGCN与MTGCN等方法中表现更优，展现出强跨站点迁移能力。
• 在ADNI、ABIDE与ECHO的三分类任务中，BrainFormer保持高性能，证实其在复杂诊断场景下的鲁棒性。
• 训练曲线显示，模型在ECHO数据集上收敛迅速，表明优化效率高。
• 基于梯度的定位揭示了与临床文献一致的疾病相关区域，例如抑郁患者中的前额叶皮层，以及偏头痛患者中的背侧前扣带皮层。
• 通过将单个fMRI影像作为输入，该方法使有效样本量提升100倍以上，显著减轻了神经影像学研究中的数据采集负担。