[论文解读] MedViT: A Robust Vision Transformer for Generalized Medical Image Classification

Omid Nejati Manzari, Hamid Ahmadabadi+3 more|arXiv (Cornell University)|Feb 19, 2023

COVID-19 diagnosis using AI被引用 9

一句话总结

MedViT 提出了一种 CNN-Transformer 混合架构，具有高效卷积块和多频 LTB，旨在对抗 MedMNIST-2D 数据集上的对抗攻击时实现鲁棒、泛化的医学影像分类。

ABSTRACT

Convolutional Neural Networks (CNNs) have advanced existing medical systems for automatic disease diagnosis. However, there are still concerns about the reliability of deep medical diagnosis systems against the potential threats of adversarial attacks since inaccurate diagnosis could lead to disastrous consequences in the safety realm. In this study, we propose a highly robust yet efficient CNN-Transformer hybrid model which is equipped with the locality of CNNs as well as the global connectivity of vision Transformers. To mitigate the high quadratic complexity of the self-attention mechanism while jointly attending to information in various representation subspaces, we construct our attention mechanism by means of an efficient convolution operation. Moreover, to alleviate the fragility of our Transformer model against adversarial attacks, we attempt to learn smoother decision boundaries. To this end, we augment the shape information of an image in the high-level feature space by permuting the feature mean and variance within mini-batches. With less computational complexity, our proposed hybrid model demonstrates its high robustness and generalization ability compared to the state-of-the-art studies on a large-scale collection of standardized MedMNIST-2D datasets.

研究动机与目标

• 在医疗影像的对抗威胁和领域转变背景下，推动鲁棒的医学影像分类。
• 开发将局部与全局特征建模结合的混合 CNN-Transformer 架构，且计算量低。
• 通过鼓励对全局结构特征的依赖并引入特征级增强来提升鲁棒性。
• 提出高效块和多频融合，以在不同医学影像模态之间平衡精度和效率。

提出的方法

• 引入 Efficient Convolution Block (ECB)，结合 Locally Feed Forward Network (LFFN) 与 Multi-Head Convolutional Attention (MHCA) 进行局部特征学习。
• 开发 Local Transformer Block (LTB)，利用 Efficient Self Attention (ESA) 与 MHCA 融合多频信息，实现全局—局部融合。
• 使用 Transformer Augmentation Block (TAB)，结合 Patch Momentum Changer (PMC) 在特征层增强训练数据，促进更平滑的决策边界。
• 采用分块嵌入作为分层金字塔，具有分阶段的卷积和Transformer块共享，以管理计算复杂度。
• 使用 Batch Normalization 和 ReLU 对归一化/激活进行优化，以提升在医疗场景中的部署效率。
• 提供多种 MedViT 变体（T/S/L），并给出详细的阶段配置和通道维度。

实验结果

研究问题

• RQ1 MedViT 是否能够在多样化的医学影像模态和领域转变中实现鲁棒的泛化？
• RQ2 ECB 与 LTB 的组合是否能高效地提升局部与全局信息的建模？
• RQ3 PMC 增强是否提升对对抗扰动的鲁棒性并使决策边界更平滑？
• RQ4 在标准化的 MedMNIST-2D 数据集上，MedViT 相对于基线在精度和效率方面的表现如何？

主要发现

• MedViT 展现出在 MedMNIST-2D 数据集上相对于最先进研究的鲁棒性和泛化优势。
• 通过以卷积为基础的注意力和局部前馈网络替代标准自注意力，该架构实现了高效性。
• PMC 在特征层的Enhancement 拓展了 token 之间的交互，提升了鲁棒性和泛化。
• LTB 有效混合多频信息，在轻量化设计下提升了性能。
• 模型变体（MedViT-T/S/L）提供可扩展的配置，具备详细的分阶段块和通道数量。