[논문 리뷰] Machine learning approach for skill evaluation in robotic-assisted surgery

Mahtab J. Fard, Sattar Ameri외 4명|arXiv (Cornell University)|2016. 01. 01.

Surgical Simulation and Training인용 수 5

한 줄 요약

이 연구는 로봇 보조 미세외과수술(RMIS)에서 외과의사의 술기 수준을 객관적으로 분류하기 위해 완료 시간, 경로 길이, 깊이 인식, 속도, 부드러움, 곡률의 여섯 가지 수술 운동 특징을 사용하는 기계학습 프레임워크를 제안한다. 이 방법은 실제 수술 데이터를 사용하여 전문가와 초보자 외과의사를 85.7%의 정확도로 구분하며, 기존 수술 훈련 시스템에 통합될 잠재력이 매우 높다.

ABSTRACT

Evaluating surgeon skill has predominantly been a subjective task. Development of objective methods for surgical skill assessment are of increased interest. Recently, with technological advances such as robotic-assisted minimally invasive surgery (RMIS), new opportunities for objective and automated assessment frameworks have arisen. In this paper, we applied machine learning methods to automatically evaluate performance of the surgeon in RMIS. Six important movement features were used in the evaluation including completion time, path length, depth perception, speed, smoothness and curvature. Different classification methods applied to discriminate expert and novice surgeons. We test our method on real surgical data for suturing task and compare the classification result with the ground truth data (obtained by manual labeling). The experimental results show that the proposed framework can classify surgical skill level with relatively high accuracy of 85.7%. This study demonstrates the ability of machine learning methods to automatically classify expert and novice surgeons using movement features for different RMIS tasks. Due to the simplicity and generalizability of the introduced classification method, it is easy to implement in existing trainers.

연구 동기 및 목표

• 로봇 보조 미세외과수술(RMIS)에서 수술 기량을 객관적이고 자동화된 방법으로 평가하여 주관적 평가에 대한 의존도를 줄이기.
• RMIS 작업 중 전문가와 초보자 외과의사 간을 명확히 구분할 수 있는 핵심 운동 특징을 식별하고 추출하기.
• 이러한 운동 특징을 사용하여 다양한 기계학습 분류기의 성능을 평가하기.
• 실제 수술 데이터와 수동 레이블링을 통한 참값을 활용하여 제안된 프레임워크를 검증하기.
• 기존 수술 훈련 플랫폼에 쉽게 통합할 수 있도록 단순하고 일반화 가능한 방법을 확보하기.

제안 방법

• 수술 운동 데이터 기록에서 봉합 작업 동안 완료 시간, 경로 길이, 깊이 인식, 속도, 부드러움, 곡률의 여섯 가지 운동 특징을 추출하였다.
• 추출된 특징을 바탕으로 다양한 분류 알고리즘을 적용하여 전문가와 초보자 외과의사의 성과를 구분하였다.
• 분류 모델은 RMIS 봉합 작업 중에 수집된 실제 수술 데이터를 기반으로 훈련 및 테스트하였다.
• 외과의사의 술기 수준에 대한 참값 레이블은 수술 영상의 수동 레이블링을 통해 확보되었다.
• 표준 분류 평가 지표를 사용하여 프레임워크를 평가하였으며, 주요 성능 측정 지표로 정확도를 보고하였다.
• 간단함과 일반화 가능성에 중점을 두어 기존 수술 시뮬레이터 및 훈련 시스템에의 통합을 지원하였다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 운동학적 운동 특징을 사용하여 RMIS에서 외과의사의 술기 수준을 효과적으로 분류할 수 있는가?
• RQ2 전문가와 초보자 외과의사를 구분하는 데 가장 높은 분류 능력을 보이는 운동 특징 조합은 무엇인가?
• RQ3 수동으로 레이블링된 참값 데이터를 기반으로 검증했을 때, 제안된 분류 프레임워크의 정확도는 어느 정도인가?
• RQ4 기존 수술 훈련 환경에 구현하기 위해 이 방법이 얼마나 일반화되고 실용적인가?
• RQ5 다양한 분류 알고리즘이 수술 운동 데이터에 적용되었을 때 성능 차이가 어떻게 나타나는가?

주요 결과

• 제안된 기계학습 프레임워크는 RMIS 봉합 작업에서 얻은 운동 특징을 사용하여 전문가와 초보자 외과의사를 분류하는 데 85.7%의 정확도를 달성하였다.
• 완료 시간, 경로 길이, 깊이 인식, 속도, 부드러움, 곡률의 여섯 가지 운동 특징은 술기 수준의 차이를 효과적으로 포착하는 데 유용함을 입증하였다.
• 실제 수술 데이터에서 높은 성능를 보이며, 객관적인 기량 평가 가능성을 입증하였다.
• 프레임워크의 단순성과 일반화 가능성 덕분에 기존 수술 훈련 시스템 및 시뮬레이터에 통합하기에 적합하다.
• 운동학적 특징을 활용한 자동화되고 데이터 기반의 수술 기량 평가가 가능하고 신뢰할 수 있음을 시사한다.
• 수술 영상의 수동 레이블링은 분류 모델의 훈련 및 평가를 위한 유효한 참값을 제공하였다.