[논문 리뷰] Video and Accelerometer-Based Motion Analysis for Automated Surgical Skills Assessment

Aneeq Zia, Yachna Sharma외 3명|arXiv (Cornell University)|2017. 02. 24.

Surgical Simulation and Training인용 수 4

한 줄 요약

이 논문은 비디오 및 가속도계 데이터를 사용하여 수술 기술을 평가하기 위해 엔트로피 기반 특징—근사 엔트로피 (ApEn) 및 크로스-근사 엔트로피 (XApEn)—을 제안하며, 기존의 DCT, DFT, SMT와 비교해도 우수한 성능을 보인다. 비디오 및 가속도계 특징을 ApEn+XApEn와 융합한 결과, 봉합 및 매듭 매기 작업에서 가장 높은 정확도를 기록하여 뛰어난 성능을 입증하였다.

ABSTRACT

Purpose: Basic surgical skills of suturing and knot tying are an essential part of medical training. Having an automated system for surgical skills assessment could help save experts time and improve training efficiency. There have been some recent attempts at automated surgical skills assessment using either video analysis or acceleration data. In this paper, we present a novel approach for automated assessment of OSATS based surgical skills and provide an analysis of different features on multi-modal data (video and accelerometer data). Methods: We conduct the largest study, to the best of our knowledge, for basic surgical skills assessment on a dataset that contained video and accelerometer data for suturing and knot-tying tasks. We introduce "entropy based" features - Approximate Entropy (ApEn) and Cross-Approximate Entropy (XApEn), which quantify the amount of predictability and regularity of fluctuations in time-series data. The proposed features are compared to existing methods of Sequential Motion Texture (SMT), Discrete Cosine Transform (DCT) and Discrete Fourier Transform (DFT), for surgical skills assessment. Results: We report average performance of different features across all applicable OSATS criteria for suturing and knot tying tasks. Our analysis shows that the proposed entropy based features out-perform previous state-of-the-art methods using video data. For accelerometer data, our method performs better for suturing only. We also show that fusion of video and acceleration features can improve overall performance with the proposed entropy features achieving highest accuracy. Conclusions: Automated surgical skills assessment can be achieved with high accuracy using the proposed entropy features. Such a system can significantly improve the efficiency of surgical training in medical schools and teaching hospitals.

연구 동기 및 목표

• 전문가 수동 평가에 의존도를 줄이기 위해 강건한 자동화된 수술 기술 평가 시스템을 개발하기 위해.
• 기존 방법들이 운동의 반복성에만 초점을 맞추며 수술 운동의 비규칙성과 예측 가능성에 주목하지 않는 한계를 해결하기 위해.
• 다중 모달리티 데이터(비디오 및 가속도계)를 활용한 엔트로피 기반 특징의 성능을 OSATS 기반 수술 기술 평가에 대해 평가하기 위해.
• 대규모 데이터셋에서 기존 방법인 DCT, DFT, SMT 및 운동 텍스처 기법과의 성능을 비교하기 위해.
• 비디오 및 가속도계 특징 간의 조기 융합 전략이 수술 기술 평가 정확도 향상에 기여하는지 조사하기 위해.

제안 방법

• 비디오 및 가속도계 센서에서 유도된 시간 시리즈 운동 데이터의 규칙성과 예측 가능성을 측정하기 위해 근사 엔트로피 (ApEn) 및 크로스-근사 엔트로피 (XApEn)를 새로운 특징으로 도입한다.
• 봉합 및 매듭 매기 작업에서의 수술 운동 시퀀스에 이러한 엔트로피 기반 특징을 적용하여 기술 수준을 반영하는 비반복적이고 비규칙적인 운동 패턴을 포착한다.
• 순차적 운동 텍스처 (SMT), 이산余弦변환 (DCT), 이산 푸리에 변환 (DFT)과 같은 기존 방법과의 성능 비교를 수행한다.
• 비디오 및 가속도계 특징을 연결하여 보다 유사한 정보를 활용하기 위해 조기 융합 전략을 적용한다.
• 비디오 및 가속도계 데이터가 동기화된 54개의 봉합 및 62개의 매듭 매기 샘플을 사용하여 다중 모달리티 간의 정렬을 보장한다.
• 다양한 훈련 데이터 크기에서의 성능을 평가하기 위해 2-, 5-, 10-겹 교차 검증을 수행한다.

실험 결과

연구 질문

• RQ1 엔트로피 기반 특징(ApEn 및 XApEn)이 기존의 주파수 및 운동 텍스처 기반 특징보다 자동 수술 기술 평가에서 뛰어난 성능을 보일 수 있는가?
• RQ2 OSATS 기준 평가에서 비디오 기반 특징과 가속도계 기반 특징의 성능는 어떻게 비교되는가?
• RQ3 비디오 및 가속도계 특징의 조기 융합이 수술 기술 평가의 전체 분류 정확도 향상에 기여하는가?
• RQ4 다양한 훈련 데이터 크기(교차 검증 설계에 의해 측정됨)에서 제안된 엔트로피 기반 특징의 탄력성은 어떠한가?
• RQ5 DFT, DCT와 같이 반복성에 초점을 맞춘 방법과 비교해 엔트로피 특징이 수술 작업에서 기술 관련 운동의 비규칙성에 더 잘 반영하는가?

주요 결과

• 비디오 및 가속도계 데이터를 융합한 ApEn+XApEn 특징은 봉합 작업에서 평균 정확도 93.9% ± 3.7, 매듭 매기 작업에서 94.0% ± 2.8로 가장 높은 정확도를 기록하였다.
• 모든 특징 유형에서 비디오 단독 데이터가 가속도계 단독 데이터를 능가했으며, DCT는 봉합 작업에서 90.6% ± 3.1, 매듭 매기 작업에서 91.7% ± 6.1의 정확도를 기록하였다.
• 비디오 및 가속도계 데이터의 융합은 ApEn+XApEn의 성능을 향상시켰다(봉합: 93.2%, 매듭 매기: 94.0%), 반면 DCT 및 DFT의 성능은 저하되었다.
• ApEn+XApEn 특징은 2-, 5-, 10-겹 교차 검증 설계에서 모두 일관되게 DCT 및 DFT를 능가하는 뛰어난 탄력성을 보였다.
• 엔트로피 기반 특징은 운동 비규칙성에 대한 일반화 및 민감도가 뛰어나 반복적인 작업 외의 다양한 수술 작업에 더 적합함을 시사하였다.
• 본 연구는 비디오 및 가속도계 데이터가 동기화된 62개의 봉합 및 54개의 매듭 매기 샘플을 사용하여, 유사한 연구 중 가장 대규모로 간주된다.