[논문 리뷰] Real-time Teaching Cues for Automated Surgical Coaching

Anand Malpani, S. Swaroop Vedula외 3명|arXiv (Cornell University)|2017. 04. 24.

Surgical Simulation and Training참고 문헌 30인용 수 6

한 줄 요약

이 논문은 VR 시뮬레이션을 사용한 로봇 수술 훈련을 위한 실시간 가상 코칭 프레임워크를 제시하며, da Vinci 바늘 전달 작업 중 학습자를 안내하기 위해 맥락 기반의 지도적 피드백을 제공한다. 이 시스템은 손수 지도하는 방식, 요청 시 도움을 주는 방식, 자율 학습 방식의 세 가지 코칭 모드를 사용하며, 그래픽 피드백과 영상 시연을 통합하여 핵심 성과 지표인 바늘 잡기 방향 정렬 등에서 지도되지 않은 훈련에 비해 통계적으로 유의미한 향상을 보였다.

ABSTRACT

With introduction of new technologies in the operating room like the da Vinci Surgical System, training surgeons to use them effectively and efficiently is crucial in the delivery of better patient care. Coaching by an expert surgeon is effective in teaching relevant technical skills, but current methods to deliver effective coaching are limited and not scalable. We present a virtual reality simulation-based framework for automated virtual coaching in surgical education. We implement our framework within the da Vinci Skills Simulator. We provide three coaching modes ranging from a hands-on teacher (continuous guidance) to a handsoff guide (assistance upon request). We present six teaching cues targeted at critical learning elements of a needle passing task, which are shown to the user based on the coaching mode. These cues are graphical overlays which guide the user, inform them about sub-par performance, and show relevant video demonstrations. We evaluated our framework in a pilot randomized controlled trial with 16 subjects in each arm. In a post-study questionnaire, participants reported high comprehension of feedback, and perceived improvement in performance. After three practice repetitions of the task, the control arm (independent learning) showed better motion efficiency whereas the experimental arm (received real-time coaching) had better performance of learning elements (as per the ACS Resident Skills Curriculum). We observed statistically higher improvement in the experimental group based on one of the metrics (related to needle grasp orientation). In conclusion, we developed an automated coach that provides real-time cues for surgical training and demonstrated its feasibility.

연구 동기 및 목표

• 로봇 수술 훈련에서 확장 가능하고 전문가 수준의 코칭이 부족한 문제를 해결하기 위해.
• 자동화된 실시간 코칭 시스템을 개발하여 VR 수술 시뮬레이션에서 표적 피드백을 제공하기 위해.
• 로봇 보조 바늘 전달 과정에서 자동화된 코칭이 기술 습득을 향상시키는 효과를 평가하기 위해.
• 학습자의 숙련도에 따라 간섭 강도를 균형 잡는 다양한 코칭 모드를 탐색하기 위해.
• 자동화된 피드백이 수술 훈련의 학습 결과에 미치는 실현 가능성과 영향을 입증하기 위해.

제안 방법

• 프레임워크는 H3DAPI 기반의 VR 시뮬레이션 샌드박스 내에서 학습자의 성과를 실시간으로 추적하기 위해 작업 진행 관리자 기반으로 구성된다.
• 세 가지 코칭 모드를 구현한다: 지속적 안내(손수 지도), 요청 시 도움(손을 떼는 방식), 자율 학습.
• 손실 지표를 바탕으로 바늘 전달 기술의 시각적 오버레이와 정확한 기술의 영상 시연을 포함한 여섯 가지 맥락 기반의 지도 피드백을 생성한다.
• 손잡이 방향 정렬의 편차 및 바늘 조직력과 같은 손실 지표를 계산하여 성과가 열등한 경우를 식별한다.
• 분석 및 피드백 제공을 위해 성과 데이터를 로깅하며, 성과 기준을 초과할 경우 피드백이 트리거된다.
• 프레임워크는 바늘 전달 과제에 대해 da Vinci Skills Simulator™를 사용하여 구현 및 평가되었다.

실험 결과

연구 질문

• RQ1 자신만의 훈련 방식에 비해 자동화된 실시간 코칭이 로봇 수술 시뮬레이션에서 학습 결과를 향상시키는가?
• RQ2 다양한 코칭 모드(손수 지도, 요청 시 도움, 자율 학습)가 학습자의 성과와 기술 습득에 어떤 영향을 미치는가?
• RQ3 특정 결함을 표적으로 삼는 지도 피드백이 운동 효율성 지표에 비해 기술 능력을 얼마나 향상시키는가?
• RQ4 실시간 피드백은 학습자들이 이해도와 성과 향상 정도를 더 잘 인지하게 하는가?
• RQ5 자동화된 코칭이 수술 과제의 핵심 학습 요소에 측정 가능한 향상 효과를 가져오는가?

주요 결과

• 실시간 코칭을 받은 실험군은 제어군 대비 손잡이 방향 정렬 편차에서 통계적으로 유의미한 향상(= 0.04)을 보였다.
• 실험군은 운동 효율성은 낮았음에도 불구하고 ACS 예비 수술사 훈련 과정에서 정의한 학습 요소에서 더 높은 향상을 보였다.
• 참가자들은 연구 후 설문지에서 피드백의 이해도가 높고 성과 향상 정도를 인지했다고 보고했다.
• 제어군은 세 번의 반복 후에 더 높은 운동 효율성을 보였으며, 이는 코칭 훈련에서 품질과 속도 사이의 상충 관계를 시사한다.
• 효과 크기(Cohen’s d) 분석 결과, 핵심 결함 지표에서 실험군이 더 큰 향상을 보였으며, 특히 손잡이 방향 정렬 편차에서 가장 두드러진 향상(d = 0.04)을 보였다.
• 이 연구는 VR 수술 시뮬레이션에서 자동화되고 맥락 인식 가능한 코칭의 실현 가능성을 확인하였으며, 향후 공식 훈련 과정에 통합 및 확장 가능성을 지닌다.