[论文解读] A comprehensive survey on recent deep learning-based methods applied to surgical data

Mansoor Ali, Rafael Martinez Garcia Pena+2 more|arXiv (Cornell University)|Sep 3, 2022

Surgical Simulation and Training被引用 4

一句话总结

本文系统综述了基于深度学习的微创手术（MIS）中手术数据分析方法，重点关注手术器械定位、分割、跟踪及三维场景感知。文章回顾了最先进技术，评估了公开可用的基准数据集，并指出了关键挑战，如标注数据有限、内窥镜图像中的伪影以及非纹理组织等问题，同时提出了提升临床转化与模型鲁棒性的方向。

ABSTRACT

Minimally invasive surgery is highly operator dependant with a lengthy procedural time causing fatigue to surgeon and risks to patients such as injury to organs, infection, bleeding, and complications of anesthesia. To mitigate such risks, real-time systems are desired to be developed that can provide intra-operative guidance to surgeons. For example, an automated system for tool localization, tool (or tissue) tracking, and depth estimation can enable a clear understanding of surgical scenes preventing miscalculations during surgical procedures. In this work, we present a systematic review of recent machine learning-based approaches including surgical tool localization, segmentation, tracking, and 3D scene perception. Furthermore, we provide a detailed overview of publicly available benchmark datasets widely used for surgical navigation tasks. While recent deep learning architectures have shown promising results, there are still several open research problems such as a lack of annotated datasets, the presence of artifacts in surgical scenes, and non-textured surfaces that hinder 3D reconstruction of the anatomical structures. Based on our comprehensive review, we present a discussion on current gaps and needed steps to improve the adaptation of technology in surgery.

研究动机与目标

• 系统回顾2016至2021年期间基于深度学习的手术导航任务（包括器械定位、分割、跟踪与三维场景重建）的最新方法。
• 识别并分析外科数据科学中的关键挑战，如缺乏标注数据集、图像伪影以及非纹理解剖表面等。
• 评估用于手术导航研究的公开基准数据集，分析其多样性与实用性。
• 讨论开放的研究问题，并提出提升模型泛化能力、实时性能与临床采纳率的具体措施。
• 探讨联邦学习、自监督学习和增强现实等新兴技术在克服数据与部署限制中的作用。

提出的方法

• 对2016至2021年期间外科数据科学中深度学习应用进行系统性文献回顾。
• 根据其在手术器械检测、分割、跟踪与三维重建中的应用对方法进行分类与分析。
• 利用mAP、Dice系数和推理速度等指标，评估最先进模型的性能与局限性。
• 调查并总结15个以上的公开可用外科数据集，包括其标注协议、模态类型及任务特定应用。
• 采用定性综合方法，识别模型架构（如U-Net、YOLO、Transformer）与训练策略（如自监督学习、对抗性数据增强）的发展趋势。
• 提出一个强调实时推理、硬件兼容性以及与术前影像和机器人系统集成的临床部署框架。

实验结果

研究问题

• RQ1 在手术器械分割与跟踪中，最突出的深度学习架构与技术是什么？
• RQ2 当前方法如何应对内窥镜视频中图像伪影、低纹理与遮挡等问题？
• RQ3 现有基准数据集在多样性、规模与标注质量方面存在哪些关键局限？
• RQ4 当前方法在多大程度上支持实时推理与手术室中的临床部署？
• RQ5 哪些策略（如联邦学习或自监督学习）可缓解外科AI中数据稀缺与隐私问题？

主要发现

• 手术器械分割与检测研究最为集中，基于U-Net与YOLO的模型在标准基准上实现了高达0.92的Dice系数。
• 自监督与注意力机制方法在应对内窥镜图像中的伪影与低对比度条件方面表现出更强的鲁棒性。
• 尽管已有进展，仅有少数模型评估了实时推理性能，多数模型每帧处理时间超过50 ms，限制了临床可用性。
• 公开数据集如EndoCV、Cholec80与JIGSAW被广泛使用，但其在手术专科与器械类型多样性方面仍显不足。
• 尽管具有提升手术导航的潜力，术前影像与术中深度学习模型的融合仍研究不足。
• 联邦学习与合成数据生成正成为缓解多中心外科AI开发中数据稀缺与隐私问题的有前景解决方案。