[论文解读] Computation-Efficient Era: A Comprehensive Survey of State Space Models in Medical Image Analysis

Moein Heidari, Sina Ghorbani Kolahi+9 more|arXiv (Cornell University)|Jun 5, 2024

Neural Networks and Applications被引用 4

一句话总结

本综述全面回顾了状态空间模型（SSMs），特别是Mamba架构在医学图像分析中的应用。它系统性地对基于Mamba的方法按成像模态、器官和任务（如分割、分类及多模态融合）进行分类，突出其计算效率，并指出其在建模长距离依赖关系和资源受限环境方面，相较于CNN和Transformer的潜在优势。

ABSTRACT

Sequence modeling plays a vital role across various domains, with recurrent neural networks being historically the predominant method of performing these tasks. However, the emergence of transformers has altered this paradigm due to their superior performance. Built upon these advances, transformers have conjoined CNNs as two leading foundational models for learning visual representations. However, transformers are hindered by the $\mathcal{O}(N^2)$ complexity of their attention mechanisms, while CNNs lack global receptive fields and dynamic weight allocation. State Space Models (SSMs), specifically the extit{ extbf{Mamba}} model with selection mechanisms and hardware-aware architecture, have garnered immense interest lately in sequential modeling and visual representation learning, challenging the dominance of transformers by providing infinite context lengths and offering substantial efficiency maintaining linear complexity in the input sequence. Capitalizing on the advances in computer vision, medical imaging has heralded a new epoch with Mamba models. Intending to help researchers navigate the surge, this survey seeks to offer an encyclopedic review of Mamba models in medical imaging. Specifically, we start with a comprehensive theoretical review forming the basis of SSMs, including Mamba architecture and its alternatives for sequence modeling paradigms in this context. Next, we offer a structured classification of Mamba models in the medical field and introduce a diverse categorization scheme based on their application, imaging modalities, and targeted organs. Finally, we summarize key challenges, discuss different future research directions of the SSMs in the medical domain, and propose several directions to fulfill the demands of this field. In addition, we have compiled the studies discussed in this paper along with their open-source implementations on our GitHub repository.

研究动机与目标

• 提供关于状态空间模型（SSMs），特别是Mamba，在医学图像分析中系统性且最新的综述。
• 解决CNN在捕捉长距离依赖关系方面的局限性，以及Transformer在计算复杂性方面的不足。
• 根据应用领域、成像模态和目标解剖结构，对基于Mamba的方法进行分类与分析。
• 识别关键挑战，如可解释性不足、分类任务中的性能差距，以及医学影像中基础模型的缺乏。
• 提出未来研究方向，包括多模态学习、医学基础模型，以及面向2D/3D数据的改进扫描方案。

提出的方法

• 本综述对SSM进行理论回顾，重点聚焦于Mamba的可选择性状态空间机制及其硬件感知架构。
• 提出一种基于应用类型（如分割、分类）、成像模态（MRI、CT、X光）和目标器官的新分类体系。
• 分析Mamba在序列长度上呈线性复杂度（O(N)），与Transformer的O(N²)自注意力机制形成对比。
• 评估Mamba在医学影像任务中的表现，包括图像重建、图像配准和多模态理解。
• 研究架构创新，如Mamba-2，其将SSM与注意力机制结合，以提升性能。
• 整理开源实现和相关论文，建立定期更新的GitHub仓库，以确保可复现性和可访问性。

Figure 1: Algorithms and methods trilemma. Despite CNN’s ability to efficiently process local information with high computational efficiency, they often struggle with capturing long-range dependencies due to their inherent architectural constraints. On the other hand, transformers excel at capturing

实验结果

研究问题

• RQ1 Mamba模型在保持计算效率的同时，如何在医学图像中建模长距离依赖关系，相较于CNN和Transformer表现如何？
• RQ2 Mamba的关键架构组件是什么，使其在医学图像分析任务中表现优异？
• RQ3 Mamba模型在哪些医学影像应用中（如分割、分类、重建）展现出最大潜力？
• RQ4 阻碍Mamba在临床人工智能中应用的主要挑战有哪些，包括可解释性不足和高层视觉任务中的性能差距？
• RQ5 在多模态学习和基础模型方面，哪些未来研究方向最有可能推动Mamba在医学影像中的发展？

主要发现

• Mamba模型在序列长度上实现线性复杂度（O(N)），相较于Transformer的O(N²)自注意力机制，具有显著的效率优势。
• 尽管在自回归和长序列任务中表现强劲，Mamba模型在图像分类任务中目前仍落后于SOTA的CNN和ViT模型。
• Mamba-2架构通过将SSM与注意力机制结合，在理论上弥合了SSM与注意力机制之间的差距，从而实现性能提升。
• Mamba模型在图像分割、重建和配准等任务中展现出强大潜力，这些任务对长距离空间依赖关系尤为关键。
• 在开发面向医学影像的Mamba基础模型和多模态学习框架方面，仍存在显著的研究空白。
• Mamba在视觉任务中的可解释性仍有限，对其在医学图像分析中决策过程的理论和实证理解尚不充分。

(a) Applications