[논문 리뷰] MediViSTA: Medical Video Segmentation via Temporal Fusion SAM Adaptation for Echocardiography

Sekeun Kim, Jin, Pengfei외 10명|arXiv (Cornell University)|2023. 09. 24.

Advanced Neural Network ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 초음파 심장도 영상에서 zero-shot 의료 영상 분할을 위한 새로운 시공간 어댑터 프레임워크인 MediViSTA-SAM을 제안한다. 교차 프레임 주의, 다중 척도 U형 인코딩, 수정된 마스크 디코더를 통합함으로써, 다양한 제조사의 초음파 심장도 데이터셋에서 SOTA 성능을 달성하며, Dice 점수 87.0%와 0.06의 시간적 매끄러움을 기록한다.

ABSTRACT

Despite achieving impressive results in general-purpose semantic segmentation with strong generalization on natural images, the Segment Anything Model (SAM) has shown less precision and stability in medical image segmentation. In particular, the original SAM architecture is designed for 2D natural images and is therefore not support to handle three-dimensional information, which is particularly important for medical imaging modalities that are often volumetric or video data. In this paper, we introduce MediViSTA, a parameter-efficient fine-tuning method designed to adapt the vision foundation model for medical video, with a specific focus on echocardiographic segmentation. To achieve spatial adaptation, we propose a frequency feature fusion technique that injects spatial frequency information from a CNN branch. For temporal adaptation, we integrate temporal adapters within the transformer blocks of the image encoder. Using a fine-tuning strategy, only a small subset of pre-trained parameters is updated, allowing efficient adaptation to echocardiographic data. The effectiveness of our method has been comprehensively evaluated on three datasets, comprising two public datasets and one multi-center in-house dataset. Our method consistently outperforms various state-of-the-art approaches without using any prompts. Furthermore, our model exhibits strong generalization capabilities on unseen datasets, surpassing the second-best approach by 2.15\% in Dice and 0.09 in temporal consistency. The results demonstrate the potential of MediViSTA to significantly advance echocardiographical video segmentation, offering improved accuracy and robustness in cardiac assessment applications.

연구 동기 및 목표

• SAM을 사전 훈련하는 데 사용된 자연 이미지 데이터셋과 의료 영상 모odalities, 특히 초음파 심장도 영상 간의 도메인 갭을 해결하기 위해.
• 이미지 물리학, 잡음, 다수의 제조사 데이터 분포의 차이로 인해 SAM이 의료 영상 분할에서 성능이 떨어지는 문제를 극복하기 위해.
• 목표 의료 데이터에 대한 미세조정 없이도 초음파 심장도 영상 분할에서 zero-shot 일반화를 가능하게 하기 위해.
• 경계 정확도 향상과 시간적 일관성 향상을 위해 공간적 다중 척도 특징 학습과 장단거리 시간적 모델링을 통합하기 위해.
• 기존의 사전 훈련된 SAM 가중치를 유지하면서 효과적인 의료 영상 이해를 가능하게 하는 파rameter 효율적인 적응 프레임워크 개발하기 위해.

제안 방법

• 즉각 이전 프레임을 기준으로 삼아 시간 역동성을 모델링하는 교차 프레임 주의를 적용하는 시공간 어댑터를 제안한다.
• 다양한 크기의 객체를 초음파 심장도 영상에서 포착하기 위해 다중 척도 특징 추출 기능을 갖춘 U형 인코더를 구현한다.
• 다양한 해부학적 구조에서의 분할 정확도 향상을 위해 수정된 마스크 디코더를 도입한다.
• 시간적 주의와 공간적 주의를 순차적으로 적용하는 이중 브랜치 주의 메커니즘을 사용하여 최적의 특징 융합을 달성한다 (시간적 주의 → 공간적 주의 순서).
• 기존의 ViT 기반 SAM(vit_h, vit_l, vit_b)을 백본으로 사용하여 가중치를 유지함으로써 zero-shot 전이 학습을 가능하게 한다.
• 기존 SAM 가중치를 동결하고 어댑터 및 디코더 구성 요소만 훈련시켜 parameter 효율적인 적응을 구현한다.

Figure 1: Image-to-video transfer learning strategies. (a)Vanilla transformer block (b) 3D adapter with depthwise 3D convolution [ 20 ] (c) 2D image to 3D adapter [ 33 ] (d) Proposed medical video spatio-temporal adapter (MediViSTA).

실험 결과

연구 질문

• RQ1 분할의 모든 것(Segmentation Anything Model, SAM)이 초음파 심장도 영상에서 zero-shot 의료 영상 분할에 효과적으로 적응될 수 있는가?
• RQ2 기준 프레임을 사용한 교차 프레임 주의를 통합할 경우 시간적 일관성과 분할 정확도가 어떻게 향상되는가?
• RQ3 다중 척도 특징 융합과 수정된 마스크 디코더가 작은 크기와 변동성이 큰 심장 구조에서의 성능에 기여하는 정도는 어떠한가?
• RQ4 시간적 주의와 공간적 주의 연산의 순서가 의료 영상 분할 결과에 어떤 영향을 미치는가?
• RQ5 사전 훈련된 SAM 백본을 사용할 경우, 초기 가중치로부터 학습하는 것과 비교해 zero-shot 일반화 능력이 얼마나 향상되는가?

주요 결과

• 제안된 MediViSTA-SAM 프레임워크는 Dice 점수 87.0%와 시간적 매끄러움 0.06을 기록하며, 모든 아블레이션 버전과 SOTA 방법을 능가한다.
• 아블레이션 연구 결과, 다중 척도 융합이 크게 기여하며, 제거 시 Dice 점수는 1.1% 감소하고 시간적 매끄러움은 0.03 증가함을 확인하였다.
• 교차 프레임 주의를 통합한 경우 기준 모델 대비 Dice 점수는 0.2% 향상되었고, 시간적 매끄러움은 0.09에서 0.06으로 현저히 감소하였다.
• 가장 큰 사전 훈련된 SAM 백본(vit_h)을 사용할 경우 가장 높은 Dice 점수(87.0%)와 가장 낮은 시간적 매끄러움(0.06)을 기록하여, 더 큰 모델의 이점이 확인되었다.
• 사전 훈련된 SAM 가중치 없이 훈련할 경우 Dice 점수는 4.42% 감소하였으며, 이는 사전 훈련이 후속 의료 분할 작업에 있어 결정적인 역할을 한다는 것을 입증한다.
• 시공간 어댑터와 다중 척도 융합을 모두 포함한 전체 모델이 가장 뛰어난 성능(87.0% Dice, 0.06 L)을 기록하여, 모든 구성 요소의 상호보완적 이점이 확인되었다.

Figure 2: The overview of MedViSTA-SAM, which consists of long and short range cross-frame attention and spatial transformer with U-shaped framework for medical video segmentation. We need reshape input [B, T, C, H, W] to [BT, C, H, W ] for our framework. During training, blue part are frozen while