[论文解读] Introducing Vision Transformer for Alzheimer's Disease classification task with 3D input

Zilun Zhang, Farzad Khalvati|arXiv (Cornell University)|Oct 3, 2022

Brain Tumor Detection and Classification被引用 8

一句话总结

本文提出了一种基于3D视觉Transformer的模型——卷积体素视觉Transformer（CVVT），以及一种浅层4块3D卷积神经网络（ConvNet3D-4），两者均旨在从3D MRI扫描中分类阿尔茨海默病。结果表明，简单的3D CNN在性能上可与更复杂的模型相媲美，表明浅层3D CNN在有效分类阿尔茨海默病方面已足够。

ABSTRACT

Many high-performance classification models utilize complex CNN-based architectures for Alzheimer's Disease classification. We aim to investigate two relevant questions regarding classification of Alzheimer's Disease using MRI: "Do Vision Transformer-based models perform better than CNN-based models?" and "Is it possible to use a shallow 3D CNN-based model to obtain satisfying results?" To achieve these goals, we propose two models that can take in and process 3D MRI scans: Convolutional Voxel Vision Transformer (CVVT) architecture, and ConvNet3D-4, a shallow 4-block 3D CNN-based model. Our results indicate that the shallow 3D CNN-based models are sufficient to achieve good classification results for Alzheimer's Disease using MRI scans.

研究动机与目标

• 评估基于视觉Transformer的模型是否在从3D MRI扫描中分类阿尔茨海默病方面优于传统的基于CNN的模型。
• 研究浅层3D CNN架构是否能在无需深度或复杂设计的情况下实现具有竞争力的分类性能。
• 在相同的阿尔茨海默病分类任务中，比较新型3D视觉Transformer（CVVT）与轻量级3D CNN（ConvNet3D-4）的性能。
• 确定在该医学影像背景下，更简单的3D CNN模型是否能匹配或超越更复杂架构的性能。

提出的方法

• 提出一种名为卷积体素视觉Transformer（CVVT）的3D视觉Transformer变体，通过将体素视为标记并应用多头自注意力机制来处理3D MRI体数据。
• 设计了一种仅包含四个残差块的浅层4块3D CNN架构（ConvNet3D-4），以在保持性能的同时最小化模型复杂度。
• 在基于CNN的模型中应用标准的3D卷积层，配合批量归一化和ReLU激活函数，以处理体积MRI数据。
• 对两种模型均采用标准训练协议，包括交叉熵损失和Adam优化，基于公开的阿尔茨海默病MRI数据集进行训练。
• 直接处理3D MRI扫描，不进行中间的2D切片提取，从而在所有三个维度上保留空间上下文信息。
• 在CVVT中采用基于块的嵌入方法，将3D体素块转换为可学习向量，再应用多头自注意力机制。

实验结果

研究问题

• RQ1 基于视觉Transformer的模型是否在从3D MRI扫描中分类阿尔茨海默病方面优于基于CNN的模型？
• RQ2 仅含四个残差块的浅层3D CNN是否能在阿尔茨海默病MRI数据上实现具有竞争力的分类准确率？
• RQ3 所提出的3D视觉Transformer（CVVT）的性能是否与更深或更复杂的模型相当或更优？
• RQ4 使用端到端处理的3D输入数据是否能获得优于基于2D方法或传统3D CNN的分类结果？

主要发现

• 浅层3D CNN模型（ConvNet3D-4）表现出强劲的分类性能，表明在阿尔茨海默病分类中，复杂的架构并非实现高精度所必需。
• 所提出的基于视觉Transformer的模型（CVVT）展现出具有竞争力的性能，表明自注意力机制能够有效建模3D脑部MRI数据。
• 两种模型在标准阿尔茨海默病MRI基准数据集上均表现出稳健的性能，3D CNN的性能可与更复杂的模型相媲美。
• 结果表明，3D输入处理比基于2D切片的方法更能保留空间上下文，从而提升分类的可靠性。
• 本研究证实，3D CNN的最小网络深度即可实现高性能，挑战了深层网络在医学图像分类中必不可少的假设。
• 浅层3D CNN的性能表明，可在不牺牲诊断准确率的前提下，优先考虑计算效率和模型简洁性。