[论文解读] EndoNet: A Deep Architecture for Recognition Tasks on Laparoscopic Videos

Andru Putra Twinanda, Sherif Shehata+4 more|arXiv (Cornell University)|Feb 9, 2016

Colorectal Cancer Screening and Detection参考文献 13被引用 5

一句话总结

EndoNet 是一种新型的深度卷积神经网络（CNN）架构，仅使用视觉数据即可联合执行腹腔镜胆囊切除术视频中的阶段识别与器械存在检测。它通过自动学习判别性视觉特征，实现了最先进（SOTA）的性能，优于手工设计的特征以及基于真实标注的二值化器械信号。

ABSTRACT

Surgical workflow recognition has numerous potential medical applications, such as the automatic indexing of surgical video databases and the optimization of real-time operating room scheduling, among others. As a result, phase recognition has been studied in the context of several kinds of surgeries, such as cataract, neurological, and laparoscopic surgeries. In the literature, two types of features are typically used to perform this task: visual features and tool usage signals. However, the visual features used are mostly handcrafted. Furthermore, the tool usage signals are usually collected via a manual annotation process or by using additional equipment. In this paper, we propose a novel method for phase recognition that uses a convolutional neural network (CNN) to automatically learn features from cholecystectomy videos and that relies uniquely on visual information. In previous studies, it has been shown that the tool signals can provide valuable information in performing the phase recognition task. Thus, we present a novel CNN architecture, called EndoNet, that is designed to carry out the phase recognition and tool presence detection tasks in a multi-task manner. To the best of our knowledge, this is the first work proposing to use a CNN for multiple recognition tasks on laparoscopic videos. Extensive experimental comparisons to other methods show that EndoNet yields state-of-the-art results for both tasks.

研究动机与目标

• 解决在腹腔镜手术识别中手工设计视觉特征和人工标注器械信号的局限性。
• 开发一种深度学习框架，从原始腹腔镜视频帧中自动学习判别性视觉特征。
• 通过使用单一CNN架构联合训练阶段识别与器械存在检测，实现多任务学习。
• 构建一个大规模、公开可用的数据集（Cholec80），用于基准测试外科视频识别方法。
• 通过在Cholec80和EndoVis数据集上进行评估，证明模型的泛化能力和鲁棒性。

提出的方法

• 提出EndoNet，一种专为阶段识别与器械存在检测的多任务学习而设计的自定义CNN架构。
• 在原始视频帧上端到端训练网络，以学习分层视觉特征，无需手工设计描述符。
• 使用多任务损失函数，联合优化阶段分类与器械存在预测。
• 在包含13名外科医生的80个胆囊切除术视频的Cholec80数据集上进行微调。
• 通过3D卷积层实现空间与时间特征提取，以捕捉视频序列中的时空模式。
• 完全依赖视觉输入，避免对外部传感器或器械信号的人工标注的依赖。

实验结果

研究问题

• RQ1 深度CNN能否学习到比手工特征更具判别性的腹腔镜阶段识别视觉特征？
• RQ2 与单任务学习相比，联合学习阶段识别与器械存在检测是否能提升性能？
• RQ3 由真实标注推导出的二值化器械存在信号能否被CNN学习到的视觉特征超越？
• RQ4 所提出的EndoNet架构在不同腹腔镜视频数据集上的泛化能力如何？
• RQ5 单一机构的数据变异性在多大程度上影响模型泛化？又该如何缓解？

主要发现

• EndoNet在阶段识别与器械存在检测任务上均达到最先进性能，优于先前方法。
• 即使二值化器械信号基于真实标注，EndoNet学习到的视觉特征在阶段识别中仍显著优于手工特征与二值化信号。
• 该模型在较小的EndoVis数据集上也表现出良好泛化能力，表明所学特征具有鲁棒性与可迁移性。
• 在Cholec80数据集更大子集上进行微调可提升性能，表明模型可随数据量增加而扩展。
• 结果表明，腹腔镜视频中蕴含丰富的视觉特征，远超简单的器械存在信息，而EndoNet成功捕捉了这些特征。
• 本研究强调了构建更大规模、多机构数据集的必要性，以提升模型泛化能力并减少过拟合。