[论文解读] Highly Accurate FMRI ADHD Classification using time distributed multi modal 3D CNNs

Christopher A. Sims|arXiv (Cornell University)|May 24, 2022

CCD and CMOS Imaging Sensors被引用 5

一句话总结

本文提出一种时间分布的多模态3D卷积神经网络（3D-CNN），结合3D-GAN增强的MRI数据，实现基于fMRI的注意力缺陷多动障碍（ADHD）分类的高精度。通过将3D-StyleGAN2生成器生成的合成3D MRI图像与fMRI时间序列数据相结合，该模型在ADHD-200数据集上实现了99.69%的准确率，显著优于单模态方法和先前的方法。

ABSTRACT

This work proposes an algorithm for fMRI data analysis for the classification of ADHD disorders. There have been several breakthroughs in the analysis of fMRI via 3D convolutional neural networks (CNNs). With these new techniques it is possible to preserve the 3D spatial data of fMRI data. Additionally there have been recent advances in the use of 3D generative adversarial neural networks (GANs) for the generation of normal MRI data. This work utilizes multi modal 3D CNNs with data augmentation from 3D GAN for ADHD prediction from fMRI. By leveraging a 3D-GAN it would be possible to use deepfake data to enhance the accuracy of 3D CNN classification of brain disorders. A comparison will be made between a time distributed single modal 3D CNN model for classification and the modified multi modal model with MRI data as well.

研究动机与目标

• 通过结合fMRI时间序列数据与结构MRI，利用多模态3D-CNN提升基于fMRI的ADHD分类准确率。
• 通过使用3D-GAN生成高保真度的合成MRI数据进行数据增强，缓解fMRI基ADHD诊断中的数据稀缺问题。
• 探究一般性脑部解剖结构（而非个体特异性MRI）是否足以提升3D-CNN在ADHD分类中的性能。
• 评估循环神经网络架构（GRU与LSTM）在fMRI数据时间建模中的影响，以用于ADHD分类。
• 探索基于Transformer的架构在处理全分辨率fMRI数据方面的潜力，并提升模型的可解释性。

提出的方法

• 采用时间分布的3D-CNN架构处理fMRI时间序列数据，保留体积间的时空结构。
• 多模态输入结合原始3D fMRI数据与3D-GAN生成的MRI图像，其中GAN在真实MRI上进行微调，以生成逼真的合成脑部扫描图像。
• 3D-StyleGAN2模型利用映射网络和风格调制生成高分辨率3D MRI体素，减少生成图像中的伪影。
• 模型采用基于GRU的循环层对fMRI数据中的时间依赖性进行建模，性能优于标准3D-CNN和LSTM。
• 采用基于感知相似性和梯度正则化的损失函数训练3D-GAN，确保生成的合成MRI输出具有真实感和多样性。
• 为减少内存使用并避免训练期间的内存溢出错误，对输入数据进行下采样；未来工作建议通过Transformer实现全分辨率处理。

实验结果

研究问题

• RQ1 3D-GAN生成的MRI数据是否能显著提升基于3D-CNN的fMRI数据ADHD分类准确率？
• RQ2 使用来自合成MRI的一般性脑部解剖结构（而非个体特异性MRI）是否能带来更好的ADHD分类泛化性能？
• RQ3 GRU与LSTM等循环架构在fMRI数据时间动态建模中的表现如何比较，尤其在ADHD诊断中？
• RQ4 fMRI与合成MRI的多模态3D-CNN融合在ADHD分类中是否显著优于单模态fMRI-only模型？
• RQ5 基于Transformer的架构是否能够实现全分辨率fMRI处理，并提升ADHD分类中模型的可解释性？

主要发现

• 多模态3D-GRU模型在ADHD-200数据集上达到99.69%的准确率，显著优于最佳先前方法（SM-3DLSTM为66.04%）。
• 多模态3D-LSTM模型达到97.87%的准确率，证明了fMRI与合成MRI数据结合的有效性。
• 时间分布的单模态3D-GRU模型达到75.55%的准确率，表明时间建模优于标准3D-CNN。
• 使用3D-GAN生成的MRI数据即使在无个体特异性MRI的情况下也能实现高准确率，表明一般性脑部结构已足够用于有效分类。
• 模型性能对输入分辨率敏感，需下采样以避免内存问题，提示需要更高效的架构（如Transformer）。
• 高准确率表明，集成可解释AI或分割头以识别对ADHD最具预测性的脑区具有巨大潜力。