[论文解读] Comparative evaluation of instrument segmentation and tracking methods in minimally invasive surgery

Sebastian Bodenstedt, Max Allan+18 more|arXiv (Cornell University)|May 7, 2018

Surgical Simulation and Training参考文献 20被引用 50

一句话总结

本文提供了一个全面的数据集驱动比较，比较基于视觉的仪器分割与追踪方法在机器人和常规腹腔镜手术中的表现，显示深度学习方法在分割方面优于传统方法，且将多种方法融合可提高准确性；追踪在现实手术条件下仍具有挑战性。

ABSTRACT

Intraoperative segmentation and tracking of minimally invasive instruments is a prerequisite for computer- and robotic-assisted surgery. Since additional hardware like tracking systems or the robot encoders are cumbersome and lack accuracy, surgical vision is evolving as promising techniques to segment and track the instruments using only the endoscopic images. However, what is missing so far are common image data sets for consistent evaluation and benchmarking of algorithms against each other. The paper presents a comparative validation study of different vision-based methods for instrument segmentation and tracking in the context of robotic as well as conventional laparoscopic surgery. The contribution of the paper is twofold: we introduce a comprehensive validation data set that was provided to the study participants and present the results of the comparative validation study. Based on the results of the validation study, we arrive at the conclusion that modern deep learning approaches outperform other methods in instrument segmentation tasks, but the results are still not perfect. Furthermore, we show that merging results from different methods actually significantly increases accuracy in comparison to the best stand-alone method. On the other hand, the results of the instrument tracking task show that this is still an open challenge, especially during challenging scenarios in conventional laparoscopic surgery.

研究动机与目标

• 为机器人和常规腹腔镜诊疗中的仪器分割与追踪提供一个公共、可公开获取的验证数据集。
• 在标准化的机器人和常规腹腔镜数据上比较最前沿的基于视觉的分割与追踪方法。
• 评估将多种方法结合是否能在分割准确性方面超越最佳单一方法。
• 在现实手术条件下，识别仪器追踪仍面临的挑战。

提出的方法

• 策划并发布两个验证数据集：机器人（关节化仪器）和常规腹腔镜（刚性仪器），提供训练/测试分割及带注释的掩模。
• 在这两个数据集上评估来自不同团队的多种分割方法（基于CNN和基于RF）。
• 评估扩展分割结果的多种追踪方法，结合运动估计和姿态跟踪。
• 研究使用多数表决和 STAPLE 将多种方法的分割输出合并以提高准确性。
• 以 Dice 相似系数（DSC）为主要指标，辅以精确度、召回率和准确率；通过 Wilcoxon 符号检验评估统计显著性。

实验结果

研究问题

• RQ1 在具有真实挑战（遮挡、烟雾、出血、网格存在）的机器人和常规腹腔镜数据上，基于视觉的仪器分割方法的表现如何？
• RQ2 在不同数据集和具有挑战性的场景中，合并多个分割结果是否能提升 Dice 相似系数，超越最佳单一方法？
• RQ3 在不同的外科设置下，哪些追踪方法最能估计仪器的中心、轴线和方向，主要误差来源是什么？
• RQ4 在具有挑战条件的常规腹腔镜手术中，仪器追踪还有哪些局限？

主要发现

• 基于 CNN 的分割方法在机器人和常规数据集上通常优于非 CNN 方法。
• SEG-KIT-CNN 在 D-CONV-SEG-All 上达到最高性能，DSC 0.88；SEG-JHU 在 D-ROB-SEG 上领先，DSC 0.88。
• 通过多数表决或 STAPLE 合并分割结果可以显著超越最佳单一方法，且在两个数据集上有类似提升。
• 对于 D-CONV-SEG All，前三名的合并配置超过最佳单一方法，SEG-KIT-CNN 经常出现在顶级合并之中。
• 在常规腹腔镜手术中，仪器追踪仍具挑战性，表现取决于遮挡、出血、烟雾和网格的存在。
• 来自多种方法的合并追踪输出也可提高追踪准确性，尽管增益取决于场景和方法互补性。