[논문 리뷰] Computation-Efficient Era: A Comprehensive Survey of State Space Models in Medical Image Analysis

Moein Heidari, Sina Ghorbani Kolahi외 9명|arXiv (Cornell University)|2024. 06. 05.

Neural Networks and Applications인용 수 4

한 줄 요약

이 종합 검토는 의료 영상 분석 분야에서 상태공간모델(SSMs) 특히 Mamba 아키텍처에 대해 종합적으로 다룹니다. Mamba 기반 방법들을 영상 모odalities, 장기, 임상 과제(예: 세분화, 분류, 다중모달 융합)로 체계적으로 분류하며, CNN 및 트랜스포머의 장거리 의존성 모델링 및 자원 제약 조건에서의 한계를 극복할 잠재력을 강조합니다. 계산 효율성 또한 높은 수준을 유지합니다.

ABSTRACT

Sequence modeling plays a vital role across various domains, with recurrent neural networks being historically the predominant method of performing these tasks. However, the emergence of transformers has altered this paradigm due to their superior performance. Built upon these advances, transformers have conjoined CNNs as two leading foundational models for learning visual representations. However, transformers are hindered by the $\mathcal{O}(N^2)$ complexity of their attention mechanisms, while CNNs lack global receptive fields and dynamic weight allocation. State Space Models (SSMs), specifically the extit{ extbf{Mamba}} model with selection mechanisms and hardware-aware architecture, have garnered immense interest lately in sequential modeling and visual representation learning, challenging the dominance of transformers by providing infinite context lengths and offering substantial efficiency maintaining linear complexity in the input sequence. Capitalizing on the advances in computer vision, medical imaging has heralded a new epoch with Mamba models. Intending to help researchers navigate the surge, this survey seeks to offer an encyclopedic review of Mamba models in medical imaging. Specifically, we start with a comprehensive theoretical review forming the basis of SSMs, including Mamba architecture and its alternatives for sequence modeling paradigms in this context. Next, we offer a structured classification of Mamba models in the medical field and introduce a diverse categorization scheme based on their application, imaging modalities, and targeted organs. Finally, we summarize key challenges, discuss different future research directions of the SSMs in the medical domain, and propose several directions to fulfill the demands of this field. In addition, we have compiled the studies discussed in this paper along with their open-source implementations on our GitHub repository.

연구 동기 및 목표

• 의료 영상 분석 분야에서 상태공간모델(SSMs), 특히 Mamba에 대한 체계적이고 최신의 검토를 제공하는 것.
• CNN이 장거리 의존성을 포착하는 데에 한계가 있음을 다루고, 트랜스포머의 계산 복잡도 문제를 해결하는 것.
• 응용 분야, 영상 모달리티, 대상 해부학에 따라 Mamba 기반 방법을 분류하고 분석하는 것.
• 의료 영상에서 설명 가능성, 분류 과제에서의 성능 격차, 기초 모델 부족 등의 주요 과제를 특정하는 것.
• 미래 연구 방향 제안: 다중모달 학습, 의료 기초 모델, 2D/3D 데이터를 위한 개선된 스캐닝 기법 등

제안 방법

• 이 검토는 Mamba의 선택적 상태공간 메커니즘과 하드웨어 인지 아키텍처에 중점을 두어 SSM의 이론적 검토를 수행합니다.
• 응용 유형(예: 세분화, 분류), 영상 모달리티(MRI, CT, X-ray), 대상 장기 기반으로 Mamba 모델의 새로운 분류 체계를 제안합니다.
• 시퀀스 길이에 따른 Mamba의 선형 복잡도(O(N))를 트랜스포머의 O(N²) 어텐션 복잡도와 대비하여 분석합니다.
• 이 연구는 영상 복원, 정렬, 다중모달 이해 등 의료 영상 과제에서 Mamba의 성능을 평가합니다.
• SSM과 어텐션 메커니즘을 통합하여 성능을 향상시킨 Mamba-2와 같은 아키텍처 혁신을 검토합니다.
• 재현 가능성과 접근성을 위해, 오픈소스 구현과 관련 논문을 정기적으로 업데이트하는 GitHub 리포지터리를 구축합니다.

Figure 1: Algorithms and methods trilemma. Despite CNN’s ability to efficiently process local information with high computational efficiency, they often struggle with capturing long-range dependencies due to their inherent architectural constraints. On the other hand, transformers excel at capturing

실험 결과

연구 질문

• RQ1 Mamba 모델은 장거리 의존성을 모델링하면서도 계산 효율성을 유지하는 동시에, CNN 및 트랜스포머와 어떻게 비교될 수 있나요?
• RQ2 Mamba의 성능을 가능하게 하는 주요 아키텍처 구성 요소는 무엇입니까?
• RQ3 어떤 의료 영상 응용 분야(예: 세분화, 분류, 복원)에서 Mamba 모델이 가장 유망한가요?
• RQ4 임상 AI에서 Mamba의 도입을 저해하는 주요 과제는 무엇이며, 설명 가능성과 고수준 시각 과제에서의 성능 격차가 포함되나요?
• RQ5 의료 영상에서 Mamba 기반 모델을 발전시키기 위해 가장 유망한 미래 연구 방향은 무엇이며, 특히 다중모달 학습과 기초 모델에 초점이 맞춰져 있나요?

주요 결과

• Mamba 모델은 시퀀스 길이에 대해 선형 복잡도(O(N))를 달성하여 트랜스포머의 O(N²) 자기어텐션 메커니즘에 비해 뚜렷한 효율성 우위를 확보합니다.
• 자기회귀 및 장거리 시퀀스 과제에서 강력한 성능를 보이지만, 현재는 이미지 분류 과제에서 최신 SOTA CNN 및 ViT 모델에 비해 성능이 열등합니다.
• SSM과 어텐션 메커니즘을 통합한 Mamba-2 아키텍처는 이론적으로 SSM과 어텐션 메커니즘 간 격차를 메우며 성능 향상을 이룹니다.
• 장거리 공간적 의존성이 핵심적인 과제들, 예를 들어 영상 세분화, 복원, 정렬에서 Mamba 모델이 높은 잠재력을 보입니다.
• 의료 영상에 특화된 Mamba 기반 기초 모델 및 다중모달 학습 프레임워크 개발 분야에 여전히 큰 연구 격차가 존재합니다.
• Mamba의 시각 과제에서의 설명 가능성은 제한적이며, 의료 영상 분석에서 의사결정 과정에 대한 이론적 및 실증적 통찰이 부분적으로만 제공되고 있습니다.

(a) Applications