[论文解读] 2017 Robotic Instrument Segmentation Challenge

Max Allan, Alexey A. Shvets+17 more|arXiv (Cornell University)|Feb 18, 2019

Anatomy and Medical Technology参考文献 29被引用 56

一句话总结

简要结论：这是 MICCAI 2017 的一个挑战，手工标注的多任务分割覆盖 10 个数据集，包含二值、部件和类型分割任务，以及多种参与方法。

ABSTRACT

In mainstream computer vision and machine learning, public datasets such as ImageNet, COCO and KITTI have helped drive enormous improvements by enabling researchers to understand the strengths and limitations of different algorithms via performance comparison. However, this type of approach has had limited translation to problems in robotic assisted surgery as this field has never established the same level of common datasets and benchmarking methods. In 2015 a sub-challenge was introduced at the EndoVis workshop where a set of robotic images were provided with automatically generated annotations from robot forward kinematics. However, there were issues with this dataset due to the limited background variation, lack of complex motion and inaccuracies in the annotation. In this work we present the results of the 2017 challenge on robotic instrument segmentation which involved 10 teams participating in binary, parts and type based segmentation of articulated da Vinci robotic instruments.

研究动机与目标

• 通过器械分割促进机器人微创手术的场景理解。
• 提供高质量、多样化并有人工标注的数据集，以实现公平的方法比较。
• 在多种器械和手术场景下评估二值、部件基础与类型基础的分割。
• 鼓励开发可用于引导和增强现实覆盖的实时或近实时分割方法。

提出的方法

• 三个子任务：器械对背景的二值分割、部件分割（轴杆、腕关节、夹 jaws）、以及基于类型的分割（器械类型）。
• 数据集来自 10 个猪腹腔手术序列，每序列 300 帧；对前 225 帧进行训练、后 75 帧进行测试；提供立体左目图像。
• 地面真实标签由 Intuitive Surgical 分割团队逐帧多边形手工创建。
• 11 个参与团队贡献了多种基于 CNN 的方法，包括 FCN/UNet 变体、TernausNet、SegNet，以及手工基线。
• 评估基于每帧在存在类别上的平均 IoU，并给出数据集加权的总体分数。
• 若干团队使用预训练编码器（VGG、ResNet 变体）以及多尺度或级联架构以提升精度。

实验结果

研究问题

• RQ1 最先进的分割架构在机器人手术图像中的二值器械分割上能达到多大水平？
• RQ2 是否能从人工标注且多样化的手术数据中有效学习多任务分割（二值、部件、类型）？
• RQ3 数据多样性（8 条训练序列、10 条测试序列）对跨数据集的泛化有哪些影响？
• RQ4 不同网络架构和训练策略在任务与数据集的平均 IoU 上的比较如何？

主要发现

• 在 10 个数据集上，MIT 在二值分割的平均 IoU 最高，为 0.854。
• 在所有数据集和团队中，二值分割的平均 IoU 分布为 MIT 0.888、UB 0.875，其他团队的数值各异（见表 I）。
• 在部件分割方面，MIT 在 10 个数据集中的 7 个数据集取得最高的平均 IoU，MIT 的总体平均 IoU 为 0.737（表 II）。
• 在基于类型的分割中，参与的团队较少，总体平均 IoU 变化较大（表 VI）。
• 总体而言，具有预训练编码器和多尺度或级联设计的深度学习架构表现最佳，而简单基线和非深度学习方法在某些帧上具备竞争力（如 UW 基线）。
• 挑战强调需要高质量、人工标注的数据以及丰富的背景变异性，以推动机器人器械分割的发展。