[论文解读] LapTool-Net: A Contextual Detector of Surgical Tools in Laparoscopic Videos Based on Recurrent Convolutional Neural Networks

Babak Namazi, Ganesh Sankaranarayanan+1 more|arXiv (Cornell University)|May 22, 2019

Colorectal Cancer Screening and Detection参考文献 42被引用 8

一句话总结

LapTool-Net 是一种上下文感知的、端到端可训练的循环卷积神经网络（RCNN），通过建模工具与外科手术任务之间的时空相关性，实现在腹腔镜视频帧中检测多种手术器械。该方法在仅使用不到25%训练数据、且主干网络为浅层 Inception-V1 的情况下，在 M2CAI 数据集上实现了 89.11% 的 mAP，达到当前最先进性能，尽管模型深度和数据规模均有所减少，仍优于以往方法。

ABSTRACT

We propose a new multilabel classifier, called LapTool-Net to detect the presence of surgical tools in each frame of a laparoscopic video. The novelty of LapTool-Net is the exploitation of the correlation among the usage of different tools and, the tools and tasks - namely, the context of the tools' usage. Towards this goal, the pattern in the co-occurrence of the tools is utilized for designing a decision policy for a multilabel classifier based on a Recurrent Convolutional Neural Network (RCNN) architecture to simultaneously extract the spatio-temporal features. In contrast to the previous multilabel classification methods, the RCNN and the decision model are trained in an end-to-end manner using a multitask learning scheme. To overcome the high imbalance and avoid overfitting caused by the lack of variety in the training data, a high down-sampling rate is chosen based on the more frequent combinations. Furthermore, at the post-processing step, the prediction for all the frames of a video are corrected by designing a bi-directional RNN to model the long-term task's order. LapTool-net was trained using a publicly available dataset of laparoscopic cholecystectomy. The results show LapTool-Net outperforms existing methods significantly, even while using fewer training samples and a shallower architecture.

研究动机与目标

• 开发一种自动化、实时的系统，用于在腹腔镜视频中检测多种手术器械，减少对手动视频评估的依赖。
• 解决腹腔镜视频分析中多标签分类、运动模糊、相机抖动以及器械共现模式等挑战。
• 通过建模工具使用与手术任务序列之间的上下文关系，提升检测准确性。
• 通过基于频繁工具组合的欠采样策略以及基于逻辑编程的决策层，减轻过拟合与数据不平衡问题。
• 通过在极小量训练数据上实现高性能，支持更快的标注流水线，实现高效标注。

提出的方法

• 使用循环卷积神经网络（RCNN）联合提取视频帧中的时空特征，捕捉工具的空间外观与时间动态特性。
• 在 RCNN 中集成基于逻辑编程（LP）的决策层，以建模多标签相关性，并在端到端训练过程中强制保持工具共现模式的一致性。
• 基于工具组合的频率应用欠采样策略，以平衡高度不平衡的数据集并减少过拟合。
• 在推理阶段应用双向 RNN，通过建模长期任务顺序与时间一致性，对视频所有帧的预测结果进行优化。
• 整个系统采用多任务学习方案进行端到端训练，同步优化特征提取与决策逻辑。
• 使用 M2CAI 数据集进行模型评估，性能指标包括 mAP 与 F1-macro 分数。

实验结果

研究问题

• RQ1 建模工具使用与手术任务序列之间的上下文关系，是否能提升腹腔镜视频中多标签检测的准确性？
• RQ2 与传统多标签分类方法相比，采用基于 LP 的决策层进行端到端训练的 RCNN 在泛化能力与数据效率方面表现如何？
• RQ3 基于工具共现模式的高比例欠采样策略，在多大程度上能缓解外科视频数据集中的数据不平衡与过拟合问题？
• RQ4 通过建模长期任务顺序，双向 RNN 是否能提升视频帧间预测的一致性？
• RQ5 当与上下文感知训练和后处理相结合时，浅层 CNN 架构能否实现最先进性能？

主要发现

• LapTool-Net 在 M2CAI 数据集上实现了 89.11% 的平均平均精度（mAP），显著优于以往方法。
• 仅使用 RCNN 模块时，模型即达到 81.95% 的 F1-macro 分数，表明其具备强大的多标签分类性能。
• 尽管仅使用 24.6% 的训练帧（少于总帧数的 1%），LapTool-Net 仍超越了使用更深网络（如 ResNet-101 和 Inception-V3）的方法。
• 基于工具组合频率的欠采样策略有效减轻了过拟合，并提升了泛化能力，尤其在视频帧间高度相关的情况下表现更优。
• 双向 RNN 后处理步骤显著提升了视频序列中预测结果的一致性，增强了时间连贯性。
• 模型实现每帧小于 0.01 秒的实时推理速度，适用于手术过程中的在线反馈。