[论文解读] Coarse-to-fine Surgical Instrument Detection for Cataract Surgery Monitoring

Hassan Al Hajj, Gwenolé Quellec+3 more|arXiv (Cornell University)|Sep 19, 2016

Retinal Imaging and Analysis参考文献 10被引用 4

一句话总结

本文提出一种基于 k-NN 的粗到细方法，用于在白内障手术期间实时检测手术器械，利用两路视频流（器械台和手术显微镜）。该方法在静态器械分割（A_z = 0.982）和动态变化检测（A_z = 0.947）中均实现了高精度，从而通过追踪器械进出器械台的过程，提升了手术监测能力。

ABSTRACT

The amount of surgical data, recorded during video-monitored surgeries, has extremely increased. This paper aims at improving existing solutions for the automated analysis of cataract surgeries in real time. Through the analysis of a video recording the operating table, it is possible to know which instruments exit or enter the operating table, and therefore which ones are likely being used by the surgeon. Combining these observations with observations from the microscope video should enhance the overall performance of the systems. To this end, the proposed solution is divided into two main parts: one to detect the instruments at the beginning of the surgery and one to update the list of instruments every time a change is detected in the scene. In the first part, the goal is to separate the instruments from the background and from irrelevant objects. For the second, we are interested in detecting the instruments that appear and disappear whenever the surgeon interacts with the table. Experiments on a dataset of 36 cataract surgeries validate the good performance of the proposed solution.

研究动机与目标

• 通过在手术器械台上精确检测手术器械，提升白内障手术实时自动化分析的性能。
• 解决在部分遮挡和视角多变条件下，检测大量视觉相似器械的挑战。
• 开发一种能够将器械与背景杂乱物区分开，并追踪手术过程中器械出现与消失的检测方法。
• 通过提供来自器械台视角的准确器械存在信息，实现与显微镜视频分析的更好集成。
• 通过可靠的器械检测，支持下游应用如手术步骤识别和技能评估。

提出的方法

• 该方法采用粗到细的搜索策略，通过下采样图像并使用快速 k-NN 近似，加速基于 k-NN 的器械检测。
• 对于静态检测，从初始器械台图像中提取局部图像块特征，并通过 k-NN 回归将这些特征与人工分割的参考图像块匹配，以预测器械概率。
• 对于动态检测，分析动作前后帧之间的差异图像；计算局部变化特征，并通过 k-NN 匹配检测出现或消失的器械。
• 采用强监督方法，对 36 场白内障手术视频中器械和变化区域进行人工标注作为真实标签。
• 静态检测使用 D-PSO 进行参数优化，动态检测使用网格搜索，且静态阶段的参数固定用于动态阶段。
• 系统利用器械台视频流推断器械使用情况，从而减少基于显微镜分析的歧义性。

实验结果

研究问题

• RQ1 基于粗到细的 k-NN 方法能否在白内障手术视频中以高精度有效检测器械台上的手术器械？
• RQ2 该系统在多大程度上能将器械与背景杂乱物及无关物体（如毛巾或容器）区分开？
• RQ3 与单流方法相比，使用双路视频流（器械台和显微镜）在多大程度上提升了器械检测性能？
• RQ4 该系统能否可靠检测手术动态过程中器械的出现与消失事件？
• RQ5 参数选择对检测性能的影响如何？使用 D-PSO 和网格搜索等优化技术能否提升鲁棒性？

主要发现

• 静态器械检测方法的受试者工作特征曲线下面积（A_z）达到 0.982，表明器械与背景具有极强的可分性。
• 动态器械检测方法的 A_z 达到 0.947，证明其能有效检测在手术动作中出现或消失的器械。
• 即使在训练数据中未对背景物体（如毛巾）进行人工标注，系统仍能正确分割出器械。
• 该方法成功识别出进入或离开场景的器械，如视觉结果所示，但在极端视角变化下性能有所下降。
• 使用 D-PSO 和网格搜索进行参数优化显著提升了检测性能，且在 36 场手术的数据集中结果稳定。
• 粗到细策略有效降低了计算成本，同时保持了高检测精度。