[论文解读] Deep Learning in current Neuroimaging: a multivariate approach with power and type I error control but arguable generalization ability

C. Jiménez-Mesa, Javier Ramı́rez+6 more|arXiv (Cornell University)|Mar 30, 2021

Gene expression and cancer classification参考文献 61被引用 10

一句话总结

本文提出了一种非参数化、基于置换检验的统计框架，用于评估神经影像学中深度学习分类器的显著性，结合自编码器与支持向量机（SVM）实现降维与分类。该方法在使用交叉验证和带上限校正的重代入法时，有效控制了第一类错误率并具备可接受的统计功效，但因训练准确率与测试准确率之间存在较大差距，泛化能力仍有限。

ABSTRACT

Discriminative analysis in neuroimaging by means of deep/machine learning techniques is usually tested with validation techniques, whereas the associated statistical significance remains largely under-developed due to their computational complexity. In this work, a non-parametric framework is proposed that estimates the statistical significance of classifications using deep learning architectures. In particular, a combination of autoencoders (AE) and support vector machines (SVM) is applied to: (i) a one-condition, within-group designs often of normal controls (NC) and; (ii) a two-condition, between-group designs which contrast, for example, Alzheimer's disease (AD) patients with NC (the extension to multi-class analyses is also included). A random-effects inference based on a label permutation test is proposed in both studies using cross-validation (CV) and resubstitution with upper bound correction (RUB) as validation methods. This allows both false positives and classifier overfitting to be detected as well as estimating the statistical power of the test. Several experiments were carried out using the Alzheimer's Disease Neuroimaging Initiative (ADNI) dataset, the Dominantly Inherited Alzheimer Network (DIAN) dataset, and a MCI prediction dataset. We found in the permutation test that CV and RUB methods offer a false positive rate close to the significance level and an acceptable statistical power (although lower using cross-validation). A large separation between training and test accuracies using CV was observed, especially in one-condition designs. This implies a low generalization ability as the model fitted in training is not informative with respect to the test set. We propose as solution by applying RUB, whereby similar results are obtained to those of the CV test set, but considering the whole set and with a lower computational cost per iteration.

研究动机与目标

• 解决神经影像学中深度学习应用缺乏严格统计显著性检验的问题。
• 在受控第一类错误率与统计功效下，评估深度学习模型在神经影像学中的性能。
• 研究深度学习模型在神经影像学中的泛化能力，特别是在小样本情况下的表现。
• 比较交叉验证与带上限校正的重代入法在检测过拟合与假阳性方面的有效性。
• 通过带上限校正的重代入法，提供一种计算效率更高的替代交叉验证方案，同时保持相近的性能表现。

提出的方法

• 采用非参数置换检验来估计分类结果的统计显著性，通过标签置换模拟零假设。
• 使用自编码器进行降维，从高维神经影像数据中提取低维表征。
• 在编码特征上使用支持向量机（SVM）作为最终分类器，以区分不同组别（如阿尔茨海默病与对照组）。
• 评估两种验证策略：k折交叉验证与带上限校正的重代入法（RUB），后者使用完整数据集并校正过拟合问题。
• 通过重复抽样下的置换检验估计统计功效，同时监控第一类错误率与名义显著性水平的偏离程度。
• 该框架应用于三个数据集：ADNI、DIAN以及一个MCI预测数据集，涵盖单条件（组内）与双条件（组间）设计。

实验结果

研究问题

• RQ1 所提出的基于置换检验的框架是否能有效控制基于深度学习的神经影像学分类中的第一类错误率？
• RQ2 在使用置换检验评估时，深度学习模型在神经影像学中的统计功效如何？
• RQ3 在交叉验证与带上限校正的重代入法之间，深度学习模型的泛化能力有何差异？
• RQ4 在样本量有限的神经影像数据中，自编码器-SVM流程在多大程度上减少了过拟合？
• RQ5 带上限校正的重代入法是否能在显著降低计算成本的前提下，实现与交叉验证相当的性能？

主要发现

• 置换检验在交叉验证与带上限校正的重代入法中均成功将第一类错误率控制在接近名义显著性水平的范围内。
• 统计功效可接受，但使用交叉验证时低于带上限校正的重代入法。
• 在单条件组内设计中，观察到训练准确率与测试准确率之间存在显著差距，表明泛化能力较差。
• 带上限校正的重代入法在测试集上实现了与交叉验证相近的性能，但每次迭代的计算成本显著降低。
• 结果表明，尽管模型能有效控制假阳性与过拟合，其在未见数据上的泛化能力仍有限，尤其在小样本设置下更为明显。
• 自编码器与SVM的组合有效降低了维度并实现了稳健分类，但训练与测试性能之间的差距凸显了其在实际部署中的关键局限性。