[论文解读] Robust Medical Instrument Segmentation Challenge 2019

Tobias L. Roß, Annika Reinke+48 more|arXiv (Cornell University)|Mar 23, 2020

Medical Image Segmentation Techniques参考文献 41被引用 33

一句话总结

本研究介绍 ROBUST-MIS 2019 挑战，这是一个大型基准测试，用于腹腔镜视频中的工具检测与分割，聚焦于在逐步增大领域差距的阶段中的鲁棒性和泛化能力。

ABSTRACT

Intraoperative tracking of laparoscopic instruments is often a prerequisite for computer and robotic-assisted interventions. While numerous methods for detecting, segmenting and tracking of medical instruments based on endoscopic video images have been proposed in the literature, key limitations remain to be addressed: Firstly, robustness, that is, the reliable performance of state-of-the-art methods when run on challenging images (e.g. in the presence of blood, smoke or motion artifacts). Secondly, generalization; algorithms trained for a specific intervention in a specific hospital should generalize to other interventions or institutions. In an effort to promote solutions for these limitations, we organized the Robust Medical Instrument Segmentation (ROBUST-MIS) challenge as an international benchmarking competition with a specific focus on the robustness and generalization capabilities of algorithms. For the first time in the field of endoscopic image processing, our challenge included a task on binary segmentation and also addressed multi-instance detection and segmentation. The challenge was based on a surgical data set comprising 10,040 annotated images acquired from a total of 30 surgical procedures from three different types of surgery. The validation of the competing methods for the three tasks (binary segmentation, multi-instance detection and multi-instance segmentation) was performed in three different stages with an increasing domain gap between the training and the test data. The results confirm the initial hypothesis, namely that algorithm performance degrades with an increasing domain gap. While the average detection and segmentation quality of the best-performing algorithms is high, future research should concentrate on detection and segmentation of small, crossing, moving and transparent instrument(s) (parts).

研究动机与目标

• 对内镜视频中的工具检测与分割进行鲁棒性基准测试。
• 评估方法在不同手术和机构间的泛化能力。
• 识别会降低性能的图像条件（如烟雾、出血、运动伪影）。
• 通过多任务多阶段挑战提供公平的比较框架。
• 促进面向机器人辅助手术的视频优先方法的发展。

提出的方法

• 作为 MICCAI 2019 EndoVis 子挑战组织，包含三个任务：二值分割、多实例检测和多实例分割。
• 使用来自三种手术类型的 10,040 帧、由专家注释的大型数据集，覆盖 30 例程序。
• 实施了三个具有递增领域差距的评估阶段（阶段1：训练-患者数据；阶段2：相同手术类型、不同患者；阶段3：不同但相似的手术类型）。
• 使用 DSC、NSD、MI_DSC、MI_NSD 以及 mAP 指标评估性能；在需要时通过匈牙利算法进行实例匹配。
• 为分割任务实现了两级排序（准确性与鲁棒性），检测任务则采用 mAP，并包含自举分析以评估排序稳定性。

实验结果

研究问题

• RQ1 现有的工具检测与分割方法在一个鲁棒、真实世界的手术视频数据集上表现如何？
• RQ2 当在一种手术类型上进行训练时，最先进的模型是否能在不同的手术和机构之间实现泛化？
• RQ3 哪些图像伪影或挑战对性能影响最大（例如血液、烟雾、运动等）？
• RQ4 相较单任务方法，多任务方法（二值、多实例检测/分割）是否提升了鲁棒性和泛化能力？
• RQ5 随着领域差距增大，性能如何下降，是否可以量化最差情况并加以改进？

主要发现

• 最优方法实现了较高的平均准确度，但在训练与测试数据之间领域差距较大时性能下降。
• 以鲁棒性为焦点的评估（第5百分位）凸显跨任务的最坏情况局限。
• 二值与多实例分割任务使用基于 Dice 的和基于表面的指标（DSC、NSD），并结合 MI_DSC/MI_NSD 进行逐实例评估。
• 多实例检测使用平均精度均值 (mAP) 评估，匹配的 IoU 阈值为 0.3。
• 30 个手术与 10,040 帧提供了多样的测试基准，显示小、交叉、移动和透明的工具部件仍然具有挑战性。
• 结果强调未来研究应重点在检测与分割小型或部分可见的工具，尤其在充满挑战的图像条件下。