[论文解读] Metrics Matter in Surgical Phase Recognition

Isabel Funke, Dominik Rivoir+1 more|arXiv (Cornell University)|May 23, 2023

Surgical Simulation and Training被引用 8

一句话总结

该论文分析评估指标选择和报告细节如何影响 Cholec80 手术阶段识别的可比性，并在指标变体上提供基线评估与指导。

ABSTRACT

Surgical phase recognition is a basic component for different context-aware applications in computer- and robot-assisted surgery. In recent years, several methods for automatic surgical phase recognition have been proposed, showing promising results. However, a meaningful comparison of these methods is difficult due to differences in the evaluation process and incomplete reporting of evaluation details. In particular, the details of metric computation can vary widely between different studies. To raise awareness of potential inconsistencies, this paper summarizes common deviations in the evaluation of phase recognition algorithms on the Cholec80 benchmark. In addition, a structured overview of previously reported evaluation results on Cholec80 is provided, taking known differences in evaluation protocols into account. Greater attention to evaluation details could help achieve more consistent and comparable results on the surgical phase recognition task, leading to more reliable conclusions about advancements in the field and, finally, translation into clinical practice.

研究动机与目标

• 突出评估协议差异如何影响 Cholec80 上阶段识别方法的可比性。
• 总结各研究在指标计算和报告中的常见偏差。
• 提供一个结构化的结果概览，考虑协议差异。
• 提出提高可重复性并向临床实践转化的建议。

提出的方法

• 总结在 Cholec80 上对手术阶段识别的指标计算常见偏差。
• 在考虑协议差异的前提下，给出现有评估结果的结构化概览。
• 使用多种指标变体对基线阶段识别模型进行全面评估。
• 定义并讨论标准的视频级和阶段级评估指标及其计算方法。
• 讨论处理未定义值和放宽时序约束在指标中的策略。

实验结果

研究问题

• RQ1 不同的评估协议和指标实现如何影响在 Cholec80 上的性能报告？
• RQ2 在手术阶段识别中指标计算的常见不一致性是什么，它们如何影响可比性？
• RQ3 基线模型在各种指标变体和数据集分割策略下的表现如何？
• RQ4 哪些做法可以提高可重复性并实现对手术阶段识别文献的更公平比较？

主要发现

• 由于数据分割、指标定义以及未定义值处理的差异，Cholec80 的评估结果不能直接比较。
• 常见差异包括放宽与严格边界、不同数据分割，以及标准差是对视频还是对运行计算的问题。
• 本文展示了将不同指标变体应用到基线模型会导致对性能的不同解读。
• 阶段级指标中的未定义值需要明确的处理策略，这会影响总体宏观和各阶段分数。
• 作者提供了阶段指标的代码库，以促进跨研究的一致评估。
• 对近期 Cholec80 结果的结构化回顾凸显了在不一致协议下难以就最先进方法得出结论的挑战。