[论文解读] MediViSTA: Medical Video Segmentation via Temporal Fusion SAM Adaptation for Echocardiography

Sekeun Kim, Jin, Pengfei+10 more|arXiv (Cornell University)|Sep 24, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

本文提出 MediViSTA-SAM，一种新颖的时空适配器框架，将分割一切模型（SAM）适配用于超声心动图中的零样本医学视频分割。通过整合跨帧注意力、多尺度U型编码器以及改进的掩码解码器，该方法在多厂商超声心动图数据集上实现了最先进性能，Dice分数达87.0%，时间平滑度为0.06。

ABSTRACT

Despite achieving impressive results in general-purpose semantic segmentation with strong generalization on natural images, the Segment Anything Model (SAM) has shown less precision and stability in medical image segmentation. In particular, the original SAM architecture is designed for 2D natural images and is therefore not support to handle three-dimensional information, which is particularly important for medical imaging modalities that are often volumetric or video data. In this paper, we introduce MediViSTA, a parameter-efficient fine-tuning method designed to adapt the vision foundation model for medical video, with a specific focus on echocardiographic segmentation. To achieve spatial adaptation, we propose a frequency feature fusion technique that injects spatial frequency information from a CNN branch. For temporal adaptation, we integrate temporal adapters within the transformer blocks of the image encoder. Using a fine-tuning strategy, only a small subset of pre-trained parameters is updated, allowing efficient adaptation to echocardiographic data. The effectiveness of our method has been comprehensively evaluated on three datasets, comprising two public datasets and one multi-center in-house dataset. Our method consistently outperforms various state-of-the-art approaches without using any prompts. Furthermore, our model exhibits strong generalization capabilities on unseen datasets, surpassing the second-best approach by 2.15\% in Dice and 0.09 in temporal consistency. The results demonstrate the potential of MediViSTA to significantly advance echocardiographical video segmentation, offering improved accuracy and robustness in cardiac assessment applications.

研究动机与目标

• 弥合自然图像数据集（用于预训练SAM）与医学影像模态（尤其是超声心动图）之间的领域差距。
• 克服由于图像物理特性差异、伪影以及多厂商数据分布不同导致的SAM在医学视频分割中表现不佳的问题。
• 实现在无需在目标医学数据上微调的情况下，实现超声心动图视频分割的零样本泛化。
• 整合空间多尺度特征学习与长/短程时间建模，以提升边界分割精度与时间一致性。
• 开发一种参数高效的适配框架，在保留预训练SAM权重的同时，实现有效的医学视频理解。

提出的方法

• 提出一种时空适配器，通过使用前一帧作为参考，应用跨帧注意力机制，以建模时间动态。
• 实现具有多尺度特征提取的U型编码器，以捕捉超声心动图中不同尺寸的结构。
• 引入改进的掩码解码器，以提升在多样化解剖结构上的分割精度。
• 采用双分支注意力机制，按顺序应用时间注意力与空间注意力（先时间后空间），以实现最优特征融合。
• 以预训练的ViT骨干网络SAM（vit_h, vit_l, vit_b）作为主干网络，保留权重以支持零样本迁移学习。
• 通过冻结原始SAM权重，仅训练适配器与解码器组件，实现参数高效的适配。

Figure 1: Image-to-video transfer learning strategies. (a)Vanilla transformer block (b) 3D adapter with depthwise 3D convolution [ 20 ] (c) 2D image to 3D adapter [ 33 ] (d) Proposed medical video spatio-temporal adapter (MediViSTA).

实验结果

研究问题

• RQ1 分割一切模型（SAM）能否被有效适配用于超声心动图中的零样本医学视频分割？
• RQ2 在参考帧基础上引入跨帧注意力机制，如何提升时间一致性与分割精度？
• RQ3 多尺度特征融合与改进掩码解码器对小尺寸及尺寸多变的心脏结构性能有何贡献？
• RQ4 时间注意力与空间注意力操作的先后顺序如何影响医学视频的分割结果？
• RQ5 与从零开始训练相比，使用预训练SAM主干网络在多大程度上提升了零样本泛化能力？

主要发现

• 所提出的 MediViSTA-SAM 框架在测试中取得 87.0% 的 Dice 分数与 0.06 的时间平滑度，优于所有消融实验变体与最先进方法。
• 消融研究证实，多尺度融合具有显著贡献：若移除该模块，Dice 分数下降 1.1%，时间平滑度提升 0.03。
• 与基线相比，引入跨帧注意力使 Dice 分数提升 0.2%，时间平滑度从 0.09 降低至 0.06，表现显著改善。
• 使用最大尺寸的预训练 SAM 主干（vit_h）可获得最高 Dice 分数（87.0%）与最低时间平滑度（0.06），证实大模型的优势。
• 若不使用预训练 SAM 权重进行训练，Dice 分数将下降 4.42%，凸显预训练在下游医学分割任务中的关键作用。
• 完整模型（同时包含时空适配器与多尺度融合）实现最佳性能（87.0% Dice，0.06 L），证实所有组件的协同增益效应。

Figure 2: The overview of MedViSTA-SAM, which consists of long and short range cross-frame attention and spatial transformer with U-shaped framework for medical video segmentation. We need reshape input [B, T, C, H, W] to [BT, C, H, W ] for our framework. During training, blue part are frozen while