[论文解读] Improving Classification Rate of Schizophrenia Using a Multimodal Multi-Layer Perceptron Model with Structural and Functional MR

Alvaro Ulloa, Sergey Plis+1 more|arXiv (Cornell University)|Apr 4, 2018

Functional Brain Connectivity Studies参考文献 12被引用 13

一句话总结

本研究提出了一种多模态多层感知机（MLP）模型，通过使用合成数据预训练融合结构磁共振成像（sMRI）和功能磁共振成像（fMRI）数据，以提升精神分裂症分类性能。通过利用非线性学习和数据增强，该模型实现了0.850 ± 0.051的AUC，显著优于单一模态和传统分类器。

ABSTRACT

The wide variety of brain imaging technologies allows us to exploit information inherent to different data modalities. The richness of multimodal datasets may increase predictive power and reveal latent variables that otherwise would have not been found. However, the analysis of multimodal data is often conducted by assuming linear interactions which impact the accuracy of the results. We propose the use of a multimodal multi-layer perceptron model to enhance the predictive power of structural and functional magnetic resonance imaging (sMRI and fMRI) combined. We also use a synthetic data generator to pre-train each modality input layers, alleviating the effects of the small sample size that is often the case for brain imaging modalities. The proposed model improved the average and uncertainty of the area under the ROC curve to 0.850+-0.051 compared to the best results on individual modalities (0.741+-0.075 for sMRI, and 0.833+-0.050 for fMRI).

研究动机与目标

• 通过使用非线性模型结合sMRI和fMRI数据，提升精神分裂症分类的准确性。
• 通过生成合成数据来预训练，解决脑影像数据中小样本量的问题。
• 通过采用具有非线性交互作用的深度神经网络，克服线性多模态分析的局限性。
• 通过合成数据正则化，降低多模态分类中的不确定性并提升泛化能力。
• 证明在有限神经影像数据集上使用预训练深度学习模型的可行性。

提出的方法

• 设计了一种多模态MLP架构，包含针对sMRI和fMRI输入的独立单模态MLP，随后连接其最后一层的输出。
• 将sMRI数据处理为灰质浓度（GMC）图，将fMRI数据降维为低频振幅波动（ALFF）图，以实现基于特征的融合。
• 使用合成数据生成器对每个模态的输入层进行预训练，提供超过20万个合成样本，以缓解小样本量问题。
• 在预训练过程中使用批量归一化（MVN）和拒绝采样，以稳定学习过程并提升模型鲁棒性。
• 在多模态训练中应用正则化技术，包括L2权重衰减和dropout，以防止过拟合。
• 采用8折交叉验证评估性能，曲线下面积（AUC）为主要评价指标。

实验结果

研究问题

• RQ1 非线性多模态深度学习模型是否能超越线性方法，提升精神分裂症分类性能？
• RQ2 合成数据预训练是否能提升MLP在小规模神经影像数据集上的性能与泛化能力？
• RQ3 sMRI与fMRI数据的结合是否比单一模态更具预测力？
• RQ4 与标准分类器相比，该模型在AUC及交叉验证折叠间方差方面表现如何？
• RQ5 使用合成数据进行预训练在多模态脑影像分类中在多大程度上降低了不确定性与过拟合？

主要发现

• 所提出的多模态MLP平均AUC达到0.850 ± 0.051，显著优于表现最佳的单一模态结果（fMRI：0.833 ± 0.050，p = 0.016）。
• 与其它分类器相比，该模型在交叉验证折叠中的AUC方差更小，表明其具有更高的鲁棒性和更低的不确定性。
• 通过合成数据进行预训练提升了分类性能并降低了方差，表明其对单模态MLP具有正则化作用。
• sMRI与fMRI数据的结合比任一模态单独使用具有更高的预测能力，支持了信息互补的假设。
• 合成数据生成器的使用使得在仅304名受试者（135名患者，169名对照）的真实数据集下仍能实现有效训练。
• 该模型性能优于多种标准分类器（如SVM、逻辑回归、随机森林），其AUC更低且标准差更高。