[论文解读] MATIS: Masked-Attention Transformers for Surgical Instrument Segmentation

Nicolás Ayobi, Alejandra Pérez-Rondón+2 more|arXiv (Cornell University)|Mar 16, 2023

Surgical Simulation and TrainingMedicine参考文献 34被引用 3

一句话总结

MATIS 提出了一种完全基于 Transformer 的方法，用于外科器械分割，通过掩码注意力和可变形注意力生成精确的实例级区域提议，并通过视频 Transformer 模块增强时间一致性。该方法在 Endovis 2017 和 2018 数据集上实现了最先进性能，mIoU 分别达到 84.26 和 82.37，通过改进分类能力和时间一致性，超越了先前方法。

ABSTRACT

We propose Masked-Attention Transformers for Surgical Instrument Segmentation (MATIS), a two-stage, fully transformer-based method that leverages modern pixel-wise attention mechanisms for instrument segmentation. MATIS exploits the instance-level nature of the task by employing a masked attention module that generates and classifies a set of fine instrument region proposals. Our method incorporates long-term video-level information through video transformers to improve temporal consistency and enhance mask classification. We validate our approach in the two standard public benchmarks, Endovis 2017 and Endovis 2018. Our experiments demonstrate that MATIS' per-frame baseline outperforms previous state-of-the-art methods and that including our temporal consistency module boosts our model's performance further.

研究动机与目标

• 为解决像素级分类在外科器械分割中的局限性，特别是空间不一致性和对实例级区别的处理不佳问题。
• 通过利用掩码注意力和可变形注意力机制，实现细粒度的区域提议生成，以提高分割精度。
• 通过集成受 TAPIR 启发的架构，利用长期视频级特征，提升视频序列中的时间一致性。
• 通过结合实例感知掩码分类与视频级推理，建立外科器械分割的新最先进水平。

提出的方法

• MATIS 采用基于 Mask2Former 的主干网络，使用 Swin Transformer 编码器生成多尺度、可变形注意力特征，以实现精确的掩码预测。
• 采用类别特定的推理策略，通过置信度阈值为每类器械选择 top-k 掩码，提升实例级精度。
• 时间一致性模块通过类似 TAPIR 的架构整合视频级特征，对帧序列中的特征进行池化，以优化掩码分类。
• 模型引入时间特定的 MLP，将池化的时序特征投影，以更好地与分割嵌入对齐，增强联合分类性能。
• 在时序特征上应用多标签分类监督，引导模型在帧间识别器械的存在。
• 该方法结合逐帧掩码分类与长程视频建模，实现在外科视频序列中稳健且一致的分割。

实验结果

研究问题

• RQ1 完全基于 Transformer 的架构，结合掩码注意力和可变形注意力，是否能在外科器械实例分割任务中超越基于 CNN 的模型？
• RQ2 在内窥镜外科视频中，引入长期视频级上下文如何改善时间一致性和分割精度？
• RQ3 当每帧生成多个提议时，选择实例掩码的最佳推理策略是什么？
• RQ4 与逐帧推理相比，联合建模时空特征在多大程度上提升了分类性能？
• RQ5 时间特定 MLP 和存在性监督等架构组件在多大程度上促进了随时间推移的掩码分类性能提升？

主要发现

• MATIS 在 Endovis 2018 上实现了 84.26 的 mIoU，代表了外科器械分割任务的新最先进性能。
• 与基线相比，引入时间一致性模块（包含时间 MLP 和存在性监督）使 mIoU 提升了 1.05 个百分点。
• 最佳推理策略——每类选择 top-k 掩码并使用每类置信度阈值——实现了 82.37 的 mIoU，优于通用过滤或 NMS 方法。
• 输入窗口尺寸越小，性能越差，表明长期视频上下文对稳健分割至关重要。
• 使用类别特定阈值和每类掩码选择策略，显著提升了罕见器械类别（训练样本较少）的性能。
• 消融实验确认，时间特定 MLP 和多标签存在性监督均对最大化时间一致性和分类精度至关重要。