[논문 리뷰] Data Splits and Metrics for Method Benchmarking on Surgical Action Triplet Datasets

Chinedu Innocent Nwoye, Nicolas Padoy|arXiv (Cornell University)|2022. 04. 11.

Surgical Simulation and Training참고 문헌 19인용 수 12

한 줄 요약

이 논문은 수술 활동 인식 분야에서 딥러닝 모델의 일관된 벤치마킹을 가능하게 하기 위해 CholecT45 및 CholecT50 수술 동작 트리플릿 데이터셋에 대한 표준화된 데이터 분할 및 평가 지표를 도입한다. 공정한 모델 비교를 위한 k-폴드 교차검증 분할을 제안하고, 트리플릿 평가를 위한 오픈소스 ivtmetrics 라이브러리를 개발하며, PyTorch 및 TensorFlow에서 재현 가능한 모델을 공개하여 분야 내 비교 가능성과 진도 추적을 크게 향상시켰다.

ABSTRACT

In addition to generating data and annotations, devising sensible data splitting strategies and evaluation metrics is essential for the creation of a benchmark dataset. This practice ensures consensus on the usage of the data, homogeneous assessment, and uniform comparison of research methods on the dataset. This study focuses on CholecT50, which is a 50 video surgical dataset that formalizes surgical activities as triplets of . In this paper, we introduce the standard splits for the CholecT50 and CholecT45 datasets and show how they compare with existing use of the dataset. CholecT45 is the first public release of 45 videos of CholecT50 dataset. We also develop a metrics library, ivtmetrics, for model evaluation on surgical triplets. Furthermore, we conduct a benchmark study by reproducing baseline methods in the most predominantly used deep learning frameworks (PyTorch and TensorFlow) to evaluate them using the proposed data splits and metrics and release them publicly to support future research. The proposed data splits and evaluation metrics will enable global tracking of research progress on the dataset and facilitate optimal model selection for further deployment.

연구 동기 및 목표

• 수술 동작 트리플릿 인식 방법의 공정한 비교를 가능하게 하기 위해 CholecT45 및 CholecT50 데이터셋에 대한 일관되고 재현 가능한 데이터 분할을 확립하기 위해.
• 이전 벤치마킹 관행에서의 이질성을 해결하기 위해 트리플릿 검출 및 인식을 위한 평가 지표를 정의하고 표준화하기 위해.
• PyTorch 및 TensorFlow와 같은 다양한 딥러닝 프레임워크에서 사용할 수 있는 공개적이고 모듈식인 지표 라이브러리(이하 ivtmetrics)를 개발하고 공개하기 위해.
• 제안된 분할 기반으로 최신 기술 모델을 재구현하고 평가하여 향후 연구를 위한 신뢰할 수 있는 기준점을 제공하기 위해.
• 평가 프로토콜을 표준화하여 임상 적용을 위한 장기적인 진도 추적과 최적의 모델 선택을 지원하기 위해.

제안 방법

• 기존 논문과 일치하는 표준 train/val/test 분할과 함께, 클래스 불균형 문제를 완화하고 일반화 평가를 향상시키기 위한 k-폴드 교차검증 분할을 두 가지 주요 데이터 분할로 제안한다.
• CholecT45 및 CholecT50에서 정밀한 k-폴드 교차검증 전략을 도입하여 모든 데이터 포인트를 철저히 평가하고 성능 추정의 변동성을 줄인다.
• 트리플릿 인식 및 정렬 평가를 위한 ivtmetrics 파이썬 라이브러리를 설계 및 구현하며, 프레임워크 간 표준화된 검출 및 분류 지표를 지원한다.
• PyTorch 및 TensorFlow에서 재현 가능하고 프레임워크 간 호환성이 보장된 수술 트리플릿 인식 최신 기술 모델을 재구현한다.
• 표준화된 지표와 분할을 적용하여 다수의 실행 런에 걸쳐 모델을 평가함으로써 일관되고 비교 가능한 성능 보고를 확보한다.
• GitHub 및 공개 데이터셋 경로를 통해 훈련된 모델, 코드, 가중치 및 ivtmetrics 라이브러리를 공개하여 투명성과 재사용을 촉진한다.

실험 결과

연구 질문

• RQ1 벤치마킹을 위한 수술 동작 트리플릿 인식에 가장 효과적이고 재현 가능한 CholecT45 및 CholecT50 데이터셋 분할 방법은 무엇인가?
• RQ2 다른 연구 팀 간의 공정하고 일관된 모델 비교를 가능하게 하기 위해 평가 지표를 어떻게 표준화할 수 있는가?
• RQ3 표준화된 데이터 분할 및 지표를 적용했을 때 최신 기술 모델이 달성할 수 있는 성능는 무엇인가?
• RQ4 이 데이터셋에서 단일 테스트 세트 분할 대비 k-폴드 교차검증이 모델 평가 신뢰도를 어떻게 향상시키는가?
• RQ5 제안된 지표 라이브러리가 딥러닝 프레임워크 간 일관되고 재사용 가능한 평가를 얼마나 잘 지원하는가?

주요 결과

• 제안된 CholecT45 및 CholecT50에 대한 k-폴드 교차검증 분할은 변동성을 줄이고 클래스 불균형 문제를 완화함으로써 더 강력하고 일반화 능력이 뛰어난 모델 평가를 보장한다.
• ivtmetrics 라이브러리는 PyTorch 및 TensorFlow 프레임워크 간 일관되고 모듈적이며 재사용 가능한 수술 트리플릿 인식 모델 평가를 가능하게 한다.
• 표준화된 분할 기반으로 재현된 모델은 CholecT50에서 평균 F1 점수 29.4±2.8, CholecT45에서 29.4±2.5를 기록하여 향후 비교를 위한 신뢰할 수 있는 기준점을 제공한다.
• 벤치마킹 연구 결과, 트리플릿 클래스 간 성능 격차가 뚜렷하게 드러나며, 'irrigator,irrigate,cystic-pedicle'와 같은 경우 고성능(F1: 94.0±4.6)과 'bipolar,grasp,cystic-plate'와 같은 경우 저성능(F1: 0.5±0.1)이 동시에 관찰되어 클래스별 과제를 드러낸다.
• 표준 분할 및 지표 덕분에 연구 진도 추적의 일관성이 확보되었으며, 동일 프로토콜을 사용한 연구 간 결과 비교가 가능해졌다.
• 코드, 모델, 지표의 공개로 재현 가능성이 보장되고, 수술 동작 인식 분야의 향후 연구가 가속화되었다.