[논문 리뷰] Metrics Matter in Surgical Phase Recognition

Isabel Funke, Dominik Rivoir외 1명|arXiv (Cornell University)|2023. 05. 23.

Surgical Simulation and Training인용 수 8

한 줄 요약

이 논문은 평가 지표 선택과 보고 세부 사항이 Cholec80의 수술 단계 인식에서 비교 가능성에 미치는 영향을 분석하고, 다양한 지표 변형에 걸친 지침과 기본 평가를 제공합니다.

ABSTRACT

Surgical phase recognition is a basic component for different context-aware applications in computer- and robot-assisted surgery. In recent years, several methods for automatic surgical phase recognition have been proposed, showing promising results. However, a meaningful comparison of these methods is difficult due to differences in the evaluation process and incomplete reporting of evaluation details. In particular, the details of metric computation can vary widely between different studies. To raise awareness of potential inconsistencies, this paper summarizes common deviations in the evaluation of phase recognition algorithms on the Cholec80 benchmark. In addition, a structured overview of previously reported evaluation results on Cholec80 is provided, taking known differences in evaluation protocols into account. Greater attention to evaluation details could help achieve more consistent and comparable results on the surgical phase recognition task, leading to more reliable conclusions about advancements in the field and, finally, translation into clinical practice.

연구 동기 및 목표

• Chole80에서 단계 인식 방법의 비교 가능성에 영향을 미치는 평가 프로토콜 변화 강조.
• 연구들 간의 지표 계산 및 보고에서 일반적으로 나타나는 편차 요약.
• 프로토콜 차이를 설명하는 보고된 결과의 구조화된 개요 제공.
• 재현성 향상과 임상 적용으로의 번역을 위한 권고 제시.

제안 방법

• Chole80의 수술 단계 인식에서 지표 계산의 일반적인 편차 요약.
• 프로토콜 차이를 고려한 기존 평가 결과의 구조화된 개요 제시.
• 여러 지표 변형을 사용하여 기본 단계 인식 모델을 포괄적으로 평가.
• 표준 비디오-별(video-wise) 및 단계별(phase-wise) 평가 지표와 그 계산 정의 및 논의.
• 지표에서 정의되지 않은 값 처리 및 타이밍 제약의 완화 전략에 대해 논의.

실험 결과

연구 질문

• RQ1 다른 평가 프로토콜과 지표 구현이 Chole80에서 보고된 성능에 어떤 영향을 미치는가?
• RQ2 수술 단계 인식에서 지표 계산의 일반적인 불일치는 무엇이며, 그것이 비교 가능성에 어떤 영향을 미치는가?
• RQ3 기본 모델이 다양한 지표 변형 및 데이터 분할 전략에서 어떻게 성능을 보이는가?
• RQ4 재현성과 공정한 비교를 향상시킬 수 있는 관행은 무엇인가?

주요 결과

• Cholec80에 대한 평가 결과는 데이터 분할, 지표 정의, 정의되지 않은 값 처리의 차이로 인해 직접적으로 비교할 수 없다.
• 일반적인 차이점으로는 완화된 경계 vs 엄격한 경계, 다른 데이터 분할, 표준 편차를 비디오 또는 실행(run)에서 계산하는지 여부 등이 있다.
• 이 논문은 기본 모델에 서로 다른 지표 변형을 적용하면 성능 해석이 달라짐을 보여준다.
• 단계별 지표에서 정의되지 않은 값은 명시적 처리 전략이 필요하며, 이는 전체 매크로 및 각 단계 점수에 영향을 준다.
• 저자들은 연구 전반의 일관된 평가를 촉진하기 위해 단계 지표용 코드베이스를 제공한다.
• 최근 Chole80 결과에 대한 구조화된 검토는 비일관된 프로토콜하에서 최첨단 방법에 대한 결론을 도출하는 어려움을 강조한다.