[论文解读] ESAD: Endoscopic Surgeon Action Detection Dataset

Vivek Singh Bawa, Gurkirt Singh+9 more|arXiv (Cornell University)|Jun 12, 2020

Surgical Simulation and Training被引用 8

一句话总结

本论文提出了ESAD，这是首个用于真实前列腺切除术内镜视频中外科医生动作检测的大规模数据集，其标注包含工具级别的边界框和动作标签。该研究提出了一种基于SSD与ResNet主干网络的帧级动作检测基线模型，并采用Focal Loss和OHEM两种损失函数，最终在测试集上实现了16.1%的平均AP，为外科机器人和AI辅助手术研究建立了基准。

ABSTRACT

In this work, we take aim towards increasing the effectiveness of surgical assistant robots. We intended to make assistant robots safer by making them aware about the actions of surgeon, so it can take appropriate assisting actions. In other words, we aim to solve the problem of surgeon action detection in endoscopic videos. To this, we introduce a challenging dataset for surgeon action detection in real-world endoscopic videos. Action classes are picked based on the feedback of surgeons and annotated by medical professional. Given a video frame, we draw bounding box around surgical tool which is performing action and label it with action label. Finally, we presenta frame-level action detection baseline model based on recent advances in ob-ject detection. Results on our new dataset show that our presented dataset provides enough interesting challenges for future method and it can serveas strong benchmark corresponding research in surgeon action detection in endoscopic videos.

研究动机与目标

• 为解决微创手术（MIS）视频中缺乏真实世界外科医生动作检测数据集的问题。
• 通过实现对外科医生动作的实时感知，提升外科辅助机器人的安全性和有效性。
• 为内镜手术视频分析中AI模型的开发与评估提供标准化基准。
• 支持自主外科辅助系统、异常检测及外科医生反馈系统等领域的研究。

提出的方法

• 该数据集ESAD包含来自前列腺切除术的实际内镜视频，标注了动作标签和针对特定工具的边界框。
• 动作类别基于外科医生反馈选定，并经医疗专业人员验证，以确保临床相关性。
• 基于单阶段检测器（SSD）和ResNet主干网络构建了帧级动作检测基线模型，用于特征提取。
• 评估了两种损失函数——Focal Loss与在线难例挖掘（OHEM）——以应对类别不平衡问题并提升检测精度。
• 通过在多种输入图像尺寸（200–800）和不同主干网络（ResNet18至ResNet101）下进行训练，评估性能权衡。
• 评估采用三个IOU阈值（0.1、0.3、0.5）计算验证集和测试集的AP10、AP30、AP50及平均AP。

实验结果

研究问题

• RQ1 能否构建一个具有准确工具级别标注的真实世界、临床相关内镜外科医生动作检测数据集？
• RQ2 不同损失函数（Focal与OHEM）在手术视频动作检测中的性能表现有何差异？
• RQ3 输入图像分辨率和主干网络深度对本挑战性医学视觉任务中模型性能有何影响？
• RQ4 所提出的基线模型在真实手术视频序列的未见数据上具有多大程度的泛化能力？

主要发现

• 基于Focal Loss的模型在测试集上取得了最高的平均AP（16.1%），表明其在未见数据上具有更好的泛化能力。
• OHEM损失在验证集上表现更优（平均AP 24.4%），但在测试集上表现较差，表明其存在对验证数据的过拟合现象。
• 较大的输入图像尺寸（如800）并未一致提升测试性能，尽管其在OHEM损失下提升了验证分数。
• 中等深度的主干网络（如ResNet34和ResNet50）优于更深的模型（如ResNet101），表明该任务存在最优模型复杂度。
• 该数据集具有显著挑战性，即使最佳基线模型在测试集上仅达到16.1%的平均AP，凸显了未来方法论改进的迫切需求。
• 结果证实，标准计算机视觉方法在此领域尚不充分，验证了ESAD这类专用基准的必要性。