[论文解读] Alzheimer's Disease Brain MRI Classification: Challenges and Insights

Yi R. Fung, Ziqiang Guan+3 more|arXiv (Cornell University)|Jun 10, 2019

Brain Tumor Detection and Classification参考文献 13被引用 9

一句话总结

本文通过证明在不同受试者之间随机划分MRI扫描数据会导致因数据泄露而产生过于乐观的性能表现，挑战了以往阿尔茨海默病MRI分类研究的有效性。通过采用基于患者和基于就诊记录的划分策略，作者表明当前最先进模型无法实现良好泛化，其在患者划分数据上的准确率仅为约70%，揭示了评估协议中的关键缺陷，并呼吁使用完整的ADNI数据集建立更严格、可复现的基准。

ABSTRACT

In recent years, many papers have reported state-of-the-art performance on Alzheimer's Disease classification with MRI scans from the Alzheimer's Disease Neuroimaging Initiative (ADNI) dataset using convolutional neural networks. However, we discover that when we split that data into training and testing sets at the subject level, we are not able to obtain similar performance, bringing the validity of many of the previous studies into question. Furthermore, we point out that previous works use different subsets of the ADNI data, making comparison across similar works tricky. In this study, we present the results of three splitting methods, discuss the motivations behind their validity, and report our results using all of the available subjects.

研究动机与目标

• 挑战以往使用跨MRI扫描随机划分数据的阿尔茨海默病MRI分类研究的有效性。
• 研究不同的数据划分策略（按MRI、按患者、按就诊历史）对模型泛化能力和性能的影响。
• 使用所有可用的ADNI MRI扫描数据进行全面评估，确保比较的可复现性和公平性。
• 揭示当前基准的局限性，包括疾病阶段之间转换频率低和标签粗略等问题。
• 倡导改进未来的评估协议，并在模型中整合临床协变量。

提出的方法

• 作者比较了三种数据划分策略：随机MRI划分、基于患者的划分（同一受试者的全部就诊记录归入一个集合）以及基于就诊记录的划分（前n−1次就诊用于训练，第n次用于测试）。
• 他们在完整的ADNI数据集上训练并评估了在ImageNet上预训练的2D ResNet和DenseNet模型，以及一个自定义的22层3D ResNet模型。
• 研究采用4:1的训练集与测试集划分比例，并报告了每种划分方法的混淆矩阵和准确率分数。
• 为评估过拟合，他们进行了消融实验：在除最后一次就诊外的所有就诊数据上进行训练，并仅在已知疾病阶段转换的患者上进行测试。
• 所有训练和测试受试者身份均予以报告，以确保可复现性，弥补了以往研究中的关键空白。
• 作者分析了数据集中低转换频率（657名患者共152次转换）及其对模型泛化的影响。

实验结果

研究问题

• RQ1 在不同受试者之间随机划分MRI扫描是否会导致因数据泄露而高估模型性能？
• RQ2 基于患者的划分策略（确保任一受试者的数据不会同时出现在训练集和测试集中）如何影响模型准确率和泛化能力？
• RQ3 基于就诊记录的划分策略（模型基于先前就诊记录预测下一阶段）是否能带来更好的性能表现？这又揭示了模型行为的哪些特征？
• RQ4 为何以往研究在ADNI MRI分类任务中报告了高准确率？其方法论上的缺陷可能是什么？
• RQ5 ADNI数据集中疾病阶段转换频率较低，这对模型学习和泛化能力有何影响？

主要发现

• 随机划分MRI扫描可导致高达85%的准确率，但由于同一患者的不同扫描可能同时出现在训练集和测试集中，存在数据泄露问题，因此该结果无效。
• 当采用基于患者的划分时，模型准确率下降至约70%，表明模型在未见个体上的泛化能力较差。
• 在基于就诊记录的划分下，准确率仍维持在约70%，表明模型依赖于患者特异性脑结构而非疾病阶段特征。
• 消融实验仅在已知疾病阶段转换的患者上进行测试，准确率仅为54%，证实模型记忆的是患者特异性特征，而非学习到阶段区分性模式。
• 该数据集在2,731次扫描（来自657名患者）中仅包含152次疾病阶段转换，凸显了从稀疏转换中学习的挑战。
• 本研究揭示，许多先前研究使用了ADNI数据集的不同子集，且未报告测试集受试者身份，导致公平比较变得困难。