[论文解读] 4D Spatio-Temporal Deep Learning with 4D fMRI Data for Autism Spectrum Disorder Classification

Marcel Bengs, Nils Gessert+1 more|arXiv (Cornell University)|Jul 1, 2019

Autism Spectrum Disorder Research被引用 6

一句话总结

本论文提出一种基于4D fMRI数据的4D时空深度学习框架，以提升自闭症谱系障碍（ASD）的分类性能。该方法采用4D卷积神经网络（CNN4D）和卷积门控循环单元（convGRU-CNN3D），联合建模大脑的时空活动，F1得分达到0.71，优于以往将时间与空间信息分别或隐式处理的方法。

ABSTRACT

Autism spectrum disorder (ASD) is associated with behavioral and communication problems. Often, functional magnetic resonance imaging (fMRI) is used to detect and characterize brain changes related to the disorder. Recently, machine learning methods have been employed to reveal new patterns by trying to classify ASD from spatio-temporal fMRI images. Typically, these methods have either focused on temporal or spatial information processing. Instead, we propose a 4D spatio-temporal deep learning approach for ASD classification where we jointly learn from spatial and temporal data. We employ 4D convolutional neural networks and convolutional-recurrent models which outperform a previous approach with an F1-score of 0.71 compared to an F1-score of 0.65

研究动机与目标

• 通过联合建模4D fMRI数据中的时空模式，提升ASD分类的准确性。
• 克服以往方法将时间与空间信息分别或隐式处理所导致的局限性。
• 评估4D深度学习架构（特别是4D CNN和convGRU-CNN3D）在fMRI数据上用于ASD分类的有效性。
• 将端到端的4D学习方法与传统3D CNN进行比较，后者使用手工设计的时间统计量（均值/标准差）或堆叠的时间通道。
• 证明从原始4D fMRI序列中显式学习时空特征可提升分类性能。

提出的方法

• 使用ABIDE数据集中的4D fMRI数据，经切片时间校正、运动校正和强度归一化预处理后，下采样至32×32×32×176。
• 从每个4D fMRI体积中裁剪出15个时间点的序列，用于训练、验证和测试。
• 采用基于DenseNet的3D CNN主干网络，包含三个DenseNet模块（每个5层），随后接全局平均池化和两层全连接层。
• 比较四种架构：(1) CNN3D-TC（将时间步堆叠在通道维度）；(2) CNN3D-MS（将均值和标准差体积堆叠）；(3) convGRU-CNN3D（在3D CNN前通过convGRU进行时间处理）；(4) CNN4D（使用各向同性的4D卷积实现联合时空学习）。
• 所有模型均使用Adam优化器进行端到端训练，共500个周期，批量大小为10，并基于验证集F1得分实施早停。
• 通过滑动窗口推理在测试集和验证集上评估模型，对每个受试者的全部裁剪序列预测结果取平均。

实验结果

研究问题

• RQ1 从原始fMRI序列中显式学习4D时空特征，是否能优于将时间与空间信息分别处理的方法？
• RQ2 4D卷积神经网络与使用时间统计量（均值/标准差）或堆叠时间通道的3D CNN相比表现如何？
• RQ3 在fMRI基ASD分类中，引入具有卷积门控的循环模块（convGRU）是否能增强时间特征学习？
• RQ4 端到端的4D学习是否比两阶段方法更有效，后者先提取时间特征再进行空间处理？
• RQ5 与先前最先进方法相比，4D深度学习模型在相同数据集上对F1得分和准确率的提升程度如何？

主要发现

• convGRU-CNN3D模型取得了最高的F1得分0.71，显著优于之前最先进方法（F1得分0.65）。
• 4D CNN（CNN4D）的F1得分为0.68，表明联合时空学习优于将时间与空间分别处理的方法。
• CNN3D-MS模型（使用均值和标准差体积）的F1得分为0.65，证实显式时间统计量优于简单的时间堆叠3D CNN（CNN3D-TC，F1=0.61）。
• 表现最佳模型（convGRU-CNN3D）的准确率为0.67，表明在具有挑战性的ASD fMRI数据集上实现了中等但有意义的分类性能。
• 结果表明，显式学习时间动态特征——尤其是通过类似convGRU的循环机制——可获得比隐式时间处理更优的特征表示。
• 本研究证明4D深度学习模型在ASD分类中具有可行性与有效性，提示其在其他4D fMRI分析任务中亦具广泛应用潜力。