[论文解读] Cross-Modal Transformer GAN: A Brain Structure-Function Deep Fusing Framework for Alzheimer's Disease

Junren Pan, Shuqiang Wang|arXiv (Cornell University)|Jun 20, 2022

Functional Brain Connectivity Studies被引用 6

一句话总结

该论文提出了一种跨模态变换器生成对抗网络（CT-GAN），通过双注意力机制融合静息态fMRI（功能）和DTI（结构）神经影像数据，以提取互补的脑连接特征。该模型在阿尔茨海默病（AD）与正常对照组（NC）的分类中达到最先进水平的准确率（94.44%），并识别出与AD相关的关键脑连接组，如海马体和楔前叶，这些区域在疾病进展过程中表现出显著的连接变化。

ABSTRACT

Cross-modal fusion of different types of neuroimaging data has shown great promise for predicting the progression of Alzheimer's Disease(AD). However, most existing methods applied in neuroimaging can not efficiently fuse the functional and structural information from multi-modal neuroimages. In this work, a novel cross-modal transformer generative adversarial network(CT-GAN) is proposed to fuse functional information contained in resting-state functional magnetic resonance imaging (rs-fMRI) and structural information contained in Diffusion Tensor Imaging (DTI). The developed bi-attention mechanism can match functional information to structural information efficiently and maximize the capability of extracting complementary information from rs-fMRI and DTI. By capturing the deep complementary information between structural features and functional features, the proposed CT-GAN can detect the AD-related brain connectivity, which could be used as a bio-marker of AD. Experimental results show that the proposed model can not only improve classification performance but also detect the AD-related brain connectivity effectively.

研究动机与目标

• 为解决单模态神经影像在捕捉阿尔茨海默病（AD）中结构-功能互补关系方面的局限性。
• 开发一种深度融合框架，以有效整合异构的rs-fMRI与DTI数据，提升AD预测性能。
• 利用多模态融合识别具有生物学意义的、与AD相关的脑连接模式。
• 利用生成对抗网络与变换器增强特征表示，且无需依赖深层网络结构。

提出的方法

• 一种跨模态变换器生成器通过CNN和GCN编码器融合功能（rs-fMRI）与结构（DTI）特征。
• 双注意力模块（F2S与S2F）实现跨模态特征匹配，并在功能与结构表征之间进行相互优化。
• 采用生成对抗训练策略，减少对深层网络的依赖，提升特征学习与模型泛化能力。
• 解码器从融合特征中重建预测的结构与功能连接矩阵。
• 判别器区分真实与生成的连接矩阵，通过对抗反馈提升特征质量。
• 模型采用Adam优化器端到端训练，学习率0.001，权重衰减0.01，betas (0.9, 0.99)。

实验结果

研究问题

• RQ1 带有双注意力机制的跨模态变换器能否有效融合rs-fMRI与DTI数据，从而提升AD分类性能？
• RQ2 所提出的CT-GAN模型如何从多模态数据中识别与AD相关的脑连接模式？
• RQ3 通过对抗训练整合功能与结构连接是否能显著提升预测性能，相较于单模态或线性融合方法？
• RQ4 根据多模态模型，哪些脑区在AD进展过程中表现出最显著的连接变化？
• RQ5 模型学习到的连接特征能否被解释为AD的临床相关生物标志物？

主要发现

• CT-GAN在区分阿尔茨海默病（AD）与正常对照组（NC）时，准确率达到94.44%，敏感度为93.33%，特异度为95.24%，优于现有方法。
• 在LMCI与NC的分类中，模型准确率达到93.55%，敏感度为90.0%，特异度为95.24%，显示出强大的早期阶段检测能力。
• 在EMCI与NC的分类中，模型准确率达到92.68%，敏感度为90.48%，特异度为95.0%，表现出对轻度认知障碍的稳健检测能力。
• 识别出8个与AD显著相关的感兴趣脑区（ROIs），包括海马体（左右侧）、楔叶、上顶叶与楔前叶，与临床文献一致。
• 模型成功可视化了疾病进展过程中多模态连接变化，揭示了边缘系统与顶叶区域连接性下降，而其他区域出现代偿性活动增强。
• 双注意力机制有效捕捉了功能与结构脑网络之间的非线性、互补关系，从而实现更精确的生物标志物发现。