[论文解读] Benchmarking CNN on 3D Anatomical Brain MRI: Architectures, Data Augmentation and Deep Ensemble Learning

Benoît Dufumier, Pietro Gori+4 more|arXiv (Cornell University)|Jun 2, 2021

AI in cancer detection被引用 10

一句话总结

本论文在大规模、多中心的3D脑部MRI数据集（N=10,000）上对当前最先进的3D CNN架构进行了基准测试，涵盖年龄预测、性别分类和精神分裂症诊断任务。结果表明，VBM预处理显著提升了模型性能，线性模型在VBM数据上的表现可与SOTA CNN相媲美，而深度集成学习在不损失准确率的前提下有效校准了深度模型——尽管数据增强未带来一致的性能提升。

ABSTRACT

Deep Learning (DL) and specifically CNN models have become a de facto method for a wide range of vision tasks, outperforming traditional machine learning (ML) methods. Consequently, they drew a lot of attention in the neuroimaging field in particular for phenotype prediction or computer-aided diagnosis. However, most of the current studies often deal with small single-site cohorts, along with a specific pre-processing pipeline and custom CNN architectures, which make them difficult to compare to. We propose an extensive benchmark of recent state-of-the-art (SOTA) 3D CNN, evaluating also the benefits of data augmentation and deep ensemble learning, on both Voxel-Based Morphometry (VBM) pre-processing and quasi-raw images. Experiments were conducted on a large multi-site 3D brain anatomical MRI data-set comprising N=10k scans on 3 challenging tasks: age prediction, sex classification, and schizophrenia diagnosis. We found that all models provide significantly better predictions with VBM images than quasi-raw data. This finding evolved as the training set approaches 10k samples where quasi-raw data almost reach the performance of VBM. Moreover, we showed that linear models perform comparably with SOTA CNN on VBM data. We also demonstrated that DenseNet and tiny-DenseNet, a lighter version that we proposed, provide a good compromise in terms of performance in all data regime. Therefore, we suggest to employ them as the architectures by default. Critically, we also showed that current CNN are still very biased towards the acquisition site, even when trained with N=10k multi-site images. In this context, VBM pre-processing provides an efficient way to limit this site effect. Surprisingly, we did not find any clear benefit from data augmentation techniques. Finally, we proved that deep ensemble learning is well suited to re-calibrate big CNN models without sacrificing performance.

研究动机与目标

• 评估当前最先进的3D CNN架构在大规模、多中心3D脑部MRI数据集上的表现。
• 评估VBM与准原始图像预处理对模型性能的影响。
• 研究在临床神经影像中典型的少量数据场景下，数据增强与深度集成学习的有效性。
• 量化深度学习模型在临床脑部MRI任务中的校准性与不确定性。
• 通过公开发布代码和BHB-10K数据集，促进研究可复现性。

提出的方法

• 本研究采用来自公开来源的大规模异构多中心3D T1加权脑部MRI数据集，共包含N=10,000例扫描。
• 在三个神经影像任务（年龄预测、性别分类、精神分裂症诊断）上，评估了多种SOTA 3D CNN架构，包括DenseNet及一种提出的轻量化变体tiny-DenseNet。
• 通过对比VBM处理图像与最小化预处理（准原始）图像的性能，评估非线性预处理的作用。
• 数据增强策略包括标准变换（仿射变换、模糊）和合成MRI伪影（鬼影、尖峰），在训练过程中应用。
• 通过训练多个独立模型并平均其预测结果，实现深度集成学习，以改善不确定性校准。
• 使用期望校准误差（ECE）评估模型校准性，并与MC-Dropout在不确定性估计方面的表现进行比较。

实验结果

研究问题

• RQ1 与简单线性模型相比，当前最先进的3D CNN架构在大规模、多中心3D脑部MRI数据集上的表现如何？
• RQ2 与准原始图像相比，VBM预处理是否在不同任务和数据场景下始终提升性能？
• RQ3 在小样本设置下，数据增强（包括标准变换和合成MRI伪影）对模型性能有何影响？
• RQ4 深度集成学习是否能有效改善模型校准性，同时不降低临床神经影像任务中的预测性能？
• RQ5 在训练数据包含N=10,000例多中心扫描的情况下，深度CNN在多大程度上仍对扫描采集中心存在偏差？

主要发现

• 所有CNN模型在VBM处理图像上的性能显著优于准原始图像，且随着训练集规模趋近10,000例，性能差距逐渐缩小。
• 线性模型在VBM数据上的表现与SOTA 3D CNN相当，表明深度网络可能并未从数据中捕捉到有意义的非线性特征。
• DenseNet及所提出的tiny-DenseNet架构在所有数据场景和任务中均实现了优异的性能-复杂度权衡。
• 尽管进行了广泛的数据增强（包括合成MRI伪影），但未观察到一致的性能提升——部分增强策略甚至导致性能下降。
• 深度集成学习在所有模型和任务中均有效降低了校准误差，改善了不确定性估计，且未损失准确率；而MC-Dropout未展现出类似优势。
• 即使在使用N=10,000例多中心扫描的情况下，3D CNN仍对采集中心存在偏差，尽管VBM预处理有助于缓解该偏差。