[논문 리뷰] Toward Personalized Training and Skill Assessment in Robotic Minimally Invasive Surgery

Mahtab J. Fard, Sattar Ameri외 1명|arXiv (Cornell University)|2016. 10. 23.

Surgical Simulation and Training참고 문헌 10인용 수 3

한 줄 요약

이 논문은 로봇 복합외과수술(RMIS)에서 자동화되고 개인화된 기술 평가 및 실시간 피드백을 위한 형태 기반, 동적 시간 왜곡(DTW)-기반 k-NN 프레임워크를 제안한다. 광범위한 전처리 없이 원시 운동학적 시간 시리즈 데이터를 직접 분석함으로써, 봉합 작업에서 82%의 정확도, 바늘 전달 작업에서 70%, 고리 매기 작업에서 85%의 정확도를 달성하며, 최소한의 파rameter 조정으로 최신 기술 수준에 맞추거나 능가하고, 수술 훈련 중 수술사에게 실시간 성능 피드백을 제공할 수 있다.

ABSTRACT

Despite the immense technology advancement in the surgeries the criteria of assessing the surgical skills still remains based on subjective standards. With the advent of robotic-assisted surgery, new opportunities for objective and autonomous skill assessment is introduced. Previous works in this area are mostly based on structured-based method such as Hidden Markov Model (HMM) which need enormous pre-processing. In this study, in contrast with them, we develop a new shaped-based framework for automatically skill assessment and personalized surgical training with minimum parameter tuning. Our work has addressed main aspects of skill evaluation; develop gesture recognition model directly on temporal kinematic signal of robotic-assisted surgery, and build automated personalized RMIS gesture training framework which . We showed that our method, with an average accuracy of 82% for suturing, 70% for needle passing and 85% for knot tying, performs better or equal than the state-of-the-art methods, while simultaneously needs minimum pre-processing, parameter tuning and provides surgeons with online feedback for their performance during training.

연구 동기 및 목표

• 주관적이고 전문가 기반 평가의 한계를 극복하기 위해, 로봇 복합외과수술(RMIS)에서 객관적이고 자동화되며 개인화된 기술 평가 프레임워크를 개발하는 것.
• 시간 시리즈 유사도를 이용해 숙련자 기준과의 성능 이탈을 식별함으로써, 수술 훈련 중 실시간 온라인 피드백을 제공하는 것.
• 직접 원시 운동학 신호를 형태 기반 유사도 측정을 통해 분류함으로써, 복잡한 전처리 및 광범위한 파rameter 조정에 대한 의존도를 줄이는 것.
• 개별 수술사의 향상이 필요한 특정 수술 제스처를 식별함으로써 개인화된 훈련을 지원하는 것.
• 실시간 제스처 인식을 통해 자동 카메라 제어와 같은 반자율 로봇 행동의 기반을 마련하는 것.

제안 방법

• 이 방법은 수술 제스처의 시간적 운동학적 신호 간의 유사도를 계산하기 위해 동적 시간 왜곡(DTW)을 사용하여, 변동하는 시간 간격을 가진 시간 시리즈 간의 강력한 비교를 가능하게 한다.
• DTW 거리가 k-최근접 이웃(k-NN) 분류기의 입력으로 사용되어 새로운 제스처를 사전 정의된 수술 작업 카테고리에 할당한다.
• 프레임워크는 원시 운동학 데이터에 직접 작용하여 특징 추출을 피하고 전처리 복잡성을 감소시킨다.
• 혼동 행렬 히트맵을 생성하여 초보자와 숙련자 수술사 간의 성능을 비교하고, 성능 차이가 있는 특정 제스처를 식별한다.
• 수술사의 제스처가 숙련자 패턴에서 벗어날 때를 감지하여 온라인 보강 피드백을 제공한다.
• 이 접근법은 사전 정의된 수술 제스처 사전(표 2)과 훈련을 위한 전문가가 레이블링한 참값 레이블에 의존한다.

실험 결과

연구 질문

• RQ1 형태 기반 시간 시리즈 분류 방법이 RMIS의 원시 운동학적 데이터만을 사용하여 높은 정확도의 수술 제스처 인식을 달성할 수 있는가?
• RQ2 이러한 방법이 초보자 성능을 숙련자 기준과 비교하여 실시간으로 개인화된 피드백을 제공할 수 있는가?
• RQ3 이 DTW-kNN 접근법은 기존의 HMM 및 특징 기반 방법과 비교해 정확도와 계산의 단순성 측면에서 어떻게 성능을 내는가?
• RQ4 초보자 수술사가 잘못 수행하는 주요 제스처는 무엇이며, 이러한 제스처는 체계적으로 식별될 수 있는가?
• RQ5 이 프레임워크가 수술 분야의 반자율 로봇 시스템 개발을 어느 정도 지원할 수 있는가?

주요 결과

• 제안된 프레임워크는 봉합 작업에서 평균 82%의 정확도, 바늘 전달 작업에서 70%, 고리 매기 작업에서 85%의 정확도를 달성하여 실제 RMIS 작업에서 뛰어난 성능을 보였다.
• 이 방법은 최소한의 전처리와 파rameter 조정으로 최신 기술 수준의 접근법을 능가하거나 동등하게 성능을 내었다.
• 혼동 행렬 히트맵은 초보자 수술사가 특정 제스처에서 더 많은 훈련이 필요하다는 것을 드러내었으며, 봉합 작업에서는 G4, G6, G3, 바늘 전달 작업에서는 대부분의 제스처에서 그러한 경향을 보였다.
• 고리 매기 작업은 가장 단순한 작업이었으며, 초보자에게서 재훈련이 필요한 제스처는 G12 하나뿐이었다.
• 현재의 전역 수술 제스처 사전은 통합된 수술 언어를 지원하기 위해 재검토가 필요할 수 있음을 시사한다.
• 연구는 정확한 참값 레이블링의 중요성을 강조하며, 분류 성능가 참값 레이블의 품질에 크게 의존한다는 점을 보여준다.