[论文解读] ADAPT: Alzheimer Diagnosis through Adaptive Profiling Transformers

Yifeng Wang, Ke Chen+1 more|arXiv (Cornell University)|Jan 12, 2024

Brain Tumor Detection and ClassificationNeuroscience被引用 3

一句话总结

MedTransformer 提出了一种基于 2D Vision Transformer 的模型，将 3D MRI 扫描分解为矢状面、冠状面和轴向面切片，利用共享的和维度特定的自注意力机制、视图内与视图间交叉注意力，以及一种新颖的融合注意力机制，以提升阿尔茨海默病的分类性能。该模型在多个数据集上实现了最先进（SOTA）的性能，在 ADNI 数据集上相较于消融变体实现了 9.03% 的准确率提升。

ABSTRACT

Automated diagnosis of Alzheimer Disease(AD) from brain imaging, such as magnetic resonance imaging (MRI), has become increasingly important and has attracted the community to contribute many deep learning methods. However, many of these methods are facing a trade-off that 3D models tend to be complicated while 2D models cannot capture the full 3D intricacies from the data. In this paper, we introduce a new model structure for diagnosing AD, and it can complete with performances of 3D models while essentially is a 2D method (thus computationally efficient). While the core idea lies in new perspective of cutting the 3D images into multiple 2D slices from three dimensions, we introduce multiple components that can further benefit the model in this new perspective, including adaptively selecting the number of sclices in each dimension, and the new attention mechanism. In addition, we also introduce a morphology augmentation, which also barely introduces new computational loads, but can help improve the diagnosis performances due to its alignment to the pathology of AD. We name our method ADAPT, which stands for Alzheimer Diagnosis through Adaptive Profiling Transformers. We test our model from a practical perspective (the testing domains do not appear in the training one): the diagnosis accuracy favors our ADAPT, while ADAPT uses less parameters than most 3D models use.

研究动机与目标

• 解决 3D CNN 和纯 3D 变压器在阿尔茨海默病诊断中因计算成本高和数据稀缺带来的局限性。
• 通过在 3D MRI 的 2D 切片上利用 2D Vision Transformers，克服 3D 模型效率低下和泛化能力差的问题。
• 通过专用的注意力机制，提升轴向、冠状和矢状平面间特征提取与跨切片依赖关系建模能力。
• 通过一种新颖的基于腐蚀和膨胀的形态学增强技术，提升模型的鲁棒性和泛化能力。
• 在多机构数据集（ADNI、AIBL、MIRIAD、OASIS）上，相较于消融变体和现有方法，展示出更优的性能。

提出的方法

• 将 3D MRI 体积分解为三个正交的 2D 切片序列：轴向、冠状和矢状视图。
• 在所有三个维度上使用共享的自注意力编码器，以学习共有的空间模式。
• 使用维度特定的自注意力编码器，以捕捉每个视图方向内的独特结构特征。
• 应用视图内交叉注意力，聚合同一解剖平面内切片的特征。
• 引入视图间交叉注意力，融合轴向、冠状和矢状视图的表征。
• 提出一种融合注意力机制，结合多视角特征，同时保留独特信息，增强全局上下文建模能力。

实验结果

研究问题

• RQ1 基于 2D Vision Transformer 的模型是否能通过处理多个解剖平面的 2D 切片，有效实现从 3D MRI 扫描中对阿尔茨海默病的分类？
• RQ2 不同的注意力机制（共享、维度特定、视图内、视图间）对诊断性能的影响如何？
• RQ3 形态学增强在多大程度上提升了模型在 AD 与正常对照分类中的泛化能力和性能？
• RQ4 每个编码器块中切片数量和变压器深度（层数）如何影响模型的准确率和鲁棒性？
• RQ5 每个架构组件（如类别标记注意力、融合注意力）对最终诊断性能的贡献是什么？

主要发现

• 在 OASIS 数据集上，MedTransformer 的测试准确率达到 0.811，优于次优变体 2.8%。
• 在 ADNI 数据集上，MedTransformer 的测试准确率为 78.1%，相较于无形态学增强的变体提升了 9.03%。
• 消融研究显示，移除融合注意力机制导致性能下降最大，表明其在特征整合中的关键作用。
• 每视图使用 30 个切片时性能最优，因为切片过少或过多均会导致信息不足或噪声增加，从而影响性能。
• 每个编码器块使用 3 层（1+1+2+2 配置）的模型在所有数据集上均达到最高准确率，表明该深度配置实现了最佳平衡。
• 注意力图的可视化结果证实，MedTransformer 聚焦于脑萎缩区域——阿尔茨海默病的关键指标——验证了其临床可解释性与病理相关性。