[论文解读] Learning Neural Markers of Schizophrenia Disorder Using Recurrent Neural Networks

Jumana Dakka, Pouya Bashivan+4 more|arXiv (Cornell University)|Dec 1, 2017

Functional Brain Connectivity Studies参考文献 15被引用 40

一句话总结

本文提出了一种循环-卷积神经网络（R-CNN），联合建模全脑4D fMRI数据中的空间与时间模式，以自动学习精神分裂症的神经标记，实现66.4%的分类准确率——显著优于基线方法，展示了端到端深度学习在精神疾病诊断中的潜力。

ABSTRACT

Smart systems that can accurately diagnose patients with mental disorders and identify effective treatments based on brain functional imaging data are of great applicability and are gaining much attention. Most previous machine learning studies use hand-designed features, such as functional connectivity, which does not maintain the potential useful information in the spatial relationship between brain regions and the temporal profile of the signal in each region. Here we propose a new method based on recurrent-convolutional neural networks to automatically learn useful representations from segments of 4-D fMRI recordings. Our goal is to exploit both spatial and temporal information in the functional MRI movie (at the whole-brain voxel level) for identifying patients with schizophrenia.

研究动机与目标

• 开发一种数据驱动的深度学习方法，绕过人工设计的特征，利用fMRI识别精神分裂症。
• 利用fMRI时间序列中脑体素之间的空间关系与时间动态特性，以提升诊断性能。
• 评估循环-卷积架构在捕捉fMRI中时空模式以用于精神疾病分类方面的有效性。
• 将R-CNN与LSTM在精神分裂症患者和健康对照者fMRI数据上的性能与传统机器学习模型进行比较。

提出的方法

• 3D卷积神经网络（CNN）处理fMRI数据在每个时间点的体素间空间特征。
• CNN的输出被输入到堆叠的长短期记忆（LSTM）单元中，以建模时间窗口内的时间依赖性。
• 模型在FBIRN数据集的预处理fMRI数据上进行端到端训练，输入为64个时间点的窗口（128秒）。
• 数据预处理包括去均值、体素与时间维度上的全局标准化，以及基于受试者的z得分，以标准化激活水平。
• 采用5折交叉验证策略，确保训练、验证与测试集的受试者互不重叠，并基于验证性能进行早停。
• 通过改变窗口大小（16和64个时间点）与网络深度（卷积层数量）评估模型架构。

实验结果

研究问题

• RQ1 循环-卷积神经网络能否有效从原始fMRI数据中学习时空表征，以区分精神分裂症患者与健康对照者？
• RQ2 在基于fMRI的精神分裂症分类中，端到端深度学习模型的性能与传统人工设计特征（如功能连接）相比如何？
• RQ3 增加fMRI输入的时间窗口大小是否能提升R-CNN与LSTM模型的分类准确率？
• RQ4 不同架构选择（如CNN深度或LSTM层数量）如何影响fMRI数据上的模型性能？

主要发现

• 表现最佳的模型为两层LSTM架构，其在64个时间点的fMRI窗口上达到66.4%的测试准确率，显著优于基线模型（57.89%）与线性SVM（57.9%）。
• 采用两层卷积网络后接一层LSTM的R-CNN模型在64个时间点窗口上达到63.3%的准确率，显示出在长序列上的优异性能。
• 将时间窗口从16个时间点增加到64个时间点，使R-CNN模型准确率提升1.8%，LSTM模型提升超过6%，表明时间上下文至关重要。
• 更深的R-CNN架构（如2-2-1）并未提升性能，反而略微增加误差，表明深度增加后收益递减。
• 在长窗口上，LSTM模型比R-CNN模型高出约1%的准确率，表明在本设置下LSTM具有更强的时间建模能力。
• 尽管深度学习模型超越了传统方法，但仍未达到使用人工设计功能连接特征报告的74%准确率，表明在更大数据集或数据增强下仍有改进空间。