[论文解读] m2caiSeg: Semantic Segmentation of Laparoscopic Images using Convolutional Neural Networks

Salman Maqbool, Aqsa Riaz+2 more|arXiv (Cornell University)|Aug 23, 2020

Surgical Simulation and TrainingMedicine参考文献 34被引用 18

一句话总结

本文提出 m2caiSeg，一个用于腹腔镜手术图像语义分割的新数据集和深度学习框架，采用基于 U-Net 的编码器-解码器卷积神经网络，并结合自监督预训练与数据增强技术。该方法在联合分类器官与器械时达到 F1 分数 0.57，展示了其在实现自主机器人手术方面的潜力。

ABSTRACT

Autonomous surgical procedures, in particular minimal invasive surgeries, are the next frontier for Artificial Intelligence research. However, the existing challenges include precise identification of the human anatomy and the surgical settings, and modeling the environment for training of an autonomous agent. To address the identification of human anatomy and the surgical settings, we propose a deep learning based semantic segmentation algorithm to identify and label the tissues and organs in the endoscopic video feed of the human torso region. We present an annotated dataset, m2caiSeg, created from endoscopic video feeds of real-world surgical procedures. Overall, the data consists of 307 images, each of which is annotated for the organs and different surgical instruments present in the scene. We propose and train a deep convolutional neural network for the semantic segmentation task. To cater for the low quantity of annotated data, we use unsupervised pre-training and data augmentation. The trained model is evaluated on an independent test set of the proposed dataset. We obtained a F1 score of 0.33 while using all the labeled categories for the semantic segmentation task. Secondly, we labeled all instruments into an 'Instruments' superclass to evaluate the model's performance on discerning the various organs and obtained a F1 score of 0.57. We propose a new dataset and a deep learning method for pixel level identification of various organs and instruments in a endoscopic surgical scene. Surgical scene understanding is one of the first steps towards automating surgical procedures.

研究动机与目标

• 为解决自主机器人手术中手术场景理解的关键挑战，实现对器官与器械的像素级识别。
• 创建一个全新的、公开可用的数据集 m2caiSeg，包含 307 张标注的腹腔镜图像，用于训练和评估语义分割模型。
• 开发一种深度学习语义分割框架，在标注数据有限的情况下仍具备良好泛化能力，通过无监督预训练与数据增强技术实现。
• 为未来在腹腔镜场景分割领域的研究建立基线性能，尤其针对安全关键型应用。
• 通过公开发布数据集与代码，促进可复现性与社区发展。

提出的方法

• 提出一种类似 U-Net 的编码器-解码器卷积神经网络架构，用于在腹腔镜图像中实现器官与器械的像素级分割。
• 在 ImageNet 数据集上使用重建损失进行自监督预训练，以学习可泛化的特征，随后在 m2caiSeg 数据集上进行微调。
• 采用广泛的数据增强技术，包括随机裁剪、翻转和颜色抖动，以缓解数据稀缺问题并提升模型鲁棒性。
• 使用交叉熵损失和带有余弦退火学习率调度的 Adam 优化器，在 m2caiSeg 数据集上对预训练模型进行微调。
• 使用标准分割指标（交并比 IoU、精确率、召回率和 F1 分数）在保留的测试集上评估模型性能。
• 通过在 EndoVis 2018 机器人场景分割数据集上微调 m2caiSeg 模型，开展迁移学习实验，以评估模型的泛化能力。

实验结果

研究问题

• RQ1 在典型腹腔镜影像中数据量有限的场景下，自监督预训练是否能提升语义分割性能？
• RQ2 当在有限但多样化的腹腔镜图像数据集上进行训练时，深度学习模型在未见手术场景中的泛化能力如何？
• RQ3 当模型需要区分细粒度结构（如手术器械）与微小解剖特征（如缝针与缝线）时，其分割性能如何？
• RQ4 所提出的架构在复杂且杂乱的手术场景中，对空间细节与边界信息的保留程度如何？
• RQ5 在 m2caiSeg 上训练的模型是否能通过极少微调，泛化到其他手术数据集（如 EndoVis 2018）？

主要发现

• 在 m2caiSeg 数据集中对 10 类器官与器械进行分类时，模型的 F1 分数为 0.33，表明在细粒度分割任务上表现中等。
• 当将所有器械归为单一的“器械”超类时，F1 分数提升至 0.57，表明在更宽泛类别上的泛化能力更强。
• 在 EndoVis 2018 数据集上，背景与组织类别的 IoU 达到 0.876，F1 分数达到 0.934，表明对主要且较大的结构具有优异性能。
• 在小尺寸或稀有物体（如缝针、缝线、血管夹）上的性能显著下降，F1 分数为 0.000，凸显了检测精细细节的局限性。
• 在微调后，模型在 EndoVis 2018 数据集上表现出合理的泛化能力，主要类别（如器械杆部、被覆盖的肾脏）的 F1 分数均超过 0.80。
• 结果表明，即使在标注数据有限的情况下，自监督预训练后接微调的策略对手术场景分割仍具有效性。