[論文レビュー] Metrics Matter in Surgical Phase Recognition

Isabel Funke, Dominik Rivoir+1 more|arXiv (Cornell University)|May 23, 2023

Surgical Simulation and Training被引用数 8

ひとこと要約

論文は評価指標の選択と報告の詳細がCholec80における外科的フェーズ認識の比較可能性に与える影響を分析し、さまざまな指標バリアントに対するベースライン評価とガイダンスを提供する。

ABSTRACT

Surgical phase recognition is a basic component for different context-aware applications in computer- and robot-assisted surgery. In recent years, several methods for automatic surgical phase recognition have been proposed, showing promising results. However, a meaningful comparison of these methods is difficult due to differences in the evaluation process and incomplete reporting of evaluation details. In particular, the details of metric computation can vary widely between different studies. To raise awareness of potential inconsistencies, this paper summarizes common deviations in the evaluation of phase recognition algorithms on the Cholec80 benchmark. In addition, a structured overview of previously reported evaluation results on Cholec80 is provided, taking known differences in evaluation protocols into account. Greater attention to evaluation details could help achieve more consistent and comparable results on the surgical phase recognition task, leading to more reliable conclusions about advancements in the field and, finally, translation into clinical practice.

研究の動機と目的

• Cholec80上でフェーズ認識手法の比較可能性に影響を与える評価プロトコルの違いを強調する。
• 研究間での指標計算と報告の一般的な逸脱をまとめる。
• プロトコルの差異を考慮した報告結果の構造化された概要を提供する。
• 再現性の向上と臨床応用への翻訳を促進する提案を行う。

提案手法

• Cholec80における外科的フェーズ認識の指標計算の一般的な逸脱を要約する。
• 既存の評価結果をプロトコルの差異を考慮した構造化された概要として提示する。
• 複数の指標バリアントを用いたベースラインフェーズ認識モデルを包括的に評価する。
• 標準的なビデオ単位およびフェーズ単位の評価指標とそれらの計算を定義・検討する。
• 指標における未定義値の取り扱いとタイミング制約の緩和に関する戦略を議論する。

実験結果

リサーチクエスチョン

• RQ1 さまざまな評価プロトコルと指標実装はCholec80で報告された性能にどのような影響を与えるか？
• RQ2 外科的フェーズ認識の指標計算における一般的な不整合は何で、それらは比較可能性にどのように影響するか？
• RQ3 ベースラインモデルはさまざまな指標バリアントとデータ分割戦略でどのように性能を示すか？
• RQ4 外科的フェーズ認識文献における再現性と公正な比較を改善する実践は何か？

主な発見

• Cholec80における評価結果はデータ分割、指標定義、未定義値の取り扱いの違いのため直接比較できない。
• 一般的な相違には緩和された境界と厳密な境界、異なるデータ分割、標準偏差をビデオごとに計算するかランごとに計算するか、が含まれる。
• 本論文はベースラインモデルに異なる指標バリアントを適用すると性能の解釈が異なることを示す。
• フェーズ単位指標の未定義値には明示的な取り扱い戦略が必要で、それが全体のマクロスコアおよび各フェーズのスコアに影響を与える。
• 著者らは一貫した評価を促進するためのフェーズ指標のコードベースを提供する。
• 最近のCholec80結果の構造化レビューは、不一致なプロトコルの下で最先端手法について結論を引き出すことの難しさを浮き彫りにする。