[논문 리뷰] Superhuman Surgical Peg Transfer Using Depth-Sensing and Deep Recurrent Neural Networks.

Minho Hwang, Brijen Thananjeyan외 6명|arXiv (Cornell University)|2020. 12. 23.

Surgical Simulation and Training참고 문헌 56인용 수 9

한 줄 요약

이 논문은 깊이 감지 기술과 딥 레커런트 신경망을 사용하여 da Vinci Research Kit에서 페그 이송 작업을 완전히 자동화한 시스템을 제시한다. 초인적 성능을 달성하였으며, 수술 전문 주니어의 성과(93.2% 성공률, 8.6초 평균 이송 시간)를 뛰어넘는다. 특히 손건네이션을 포함한 가장 도전적인 변형에서 94.1%의 성공률과 8.1초의 평균 이송 시간을 기록하였다.

ABSTRACT

We consider the automation of the well-known peg-transfer task from the Fundamentals of Laparoscopic Surgery (FLS). While human surgeons teleoperate robots to perform this task with great dexterity, it remains challenging to automate. We present an approach that leverages emerging innovations in depth sensing, deep learning, and Peiper's method for computing inverse kinematics with time-minimized joint motion. We use the da Vinci Research Kit (dVRK) surgical robot with a Zivid depth sensor, and automate three variants of the peg-transfer task: unilateral, bilateral without handovers, and bilateral with handovers. We use 3D-printed fiducial markers with depth sensing and a deep recurrent neural network to improve the precision of the dVRK to less than 1 mm. We report experimental results for 1800 block transfer trials. Results suggest that the fully automated system can outperform an experienced human surgical resident, who performs far better than untrained humans, in terms of both speed and success rate. For the most difficult variant of peg transfer (with handovers) we compare the performance of the surgical resident with performance of the automated system over 120 trials for each. The experienced surgical resident achieves success rate 93.2 % with mean transfer time of 8.6 seconds. The automated system achieves success rate 94.1 % with mean transfer time of 8.1 seconds. To our knowledge this is the first fully automated system to achieve superhuman performance in both speed and success on peg transfer. Supplementary material is available at this https URL

연구 동기 및 목표

• 로봇 기술과 센서 기술을 활용하여 Fundamentals of Laparoscopic Surgery의 페그 이송 작업을 자동화한다.
• 3D 프린팅된 피드기얼 마커와 깊이 감지 기술을 통해 1 mm 이내의 정밀도를 확보한다.
• 손건네이션을 포함한 가장 복잡한 페그 이송 변형에서 속도와 성공률 면에서 초인적 성능을 달성한다.
• 딥 러닝과 페퍼의 역운동역학 방법을 통합하여 시간 최소화, 민감한 운동 제어를 실현한다.

제안 방법

• 시스템은 Zivid 깊이 센서와 3D 프린팅된 피드기얼 마커를 사용하여 수술 기구와 페그의 고정밀 3차원 자세 추정을 구현한다.
• 딥 레커런트 신경망이 순차적인 깊이 데이터를 처리하여 도구와 페그의 위치를 1 mm 이내 정확도로 예측한다.
• dVRK 로봇의 시간 최소화된 관절 궤적을 생성하기 위해 페퍼의 방법을 활용한 역운동역학 계산을 수행한다.
• 시스템은 세 가지 페그 이송 변형을 자동화한다: 단일측, 손건네이션 없이 双측, 손건네이션 포함 双측.
• 레커런트 네트워크에서 학습된 운동 정책과 깊이 감지 데이터를 융합하여 실시간 제어를 구현한다.
• 직접 인간-로봇 비교를 위해 1800회의 블록 이송 시험을 실시하였으며, 각 주제당 120회의 시험을 수행하였다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 시스템이 페그 이송 작업에서 속도와 성공률 면에서 초인적 성능을 달성할 수 있는가?
• RQ2 깊이 감지와 레커런트 신경망의 통합이 1 mm 이내 정밀도 향상에 어떻게 기여하는가?
• RQ3 손건네이션을 포함한 가장 복잡한 페그 이송 변형에서 인간 수술 전문 주니어를 능가할 수 있는가?
• RQ4 시간 최소화된 역운동역학이 작업 완료 속도와 내구성에 어떤 영향을 미치는가?

주요 결과

• 손건네이션을 포함한 이중측 페그 이송 작업에서 자동화된 시스템은 성공률 94.1%와 평균 이송 시간 8.1초를 기록하였다.
• 경험이 풍부한 수술 전문 주니어의 성과는 동일 조건에서 성공률 93.2%와 평균 이송 시간 8.6초였다.
• 자동화된 시스템은 성공률과 속도 면에서 인간 주니어를 뛰어넘었으며, 초인적 성능을 입증하였다.
• 모든 작업 변형에서 깊이 감지와 3D 프린팅된 피드기얼 마커를 활용해 1 mm 이내 정밀도를 유지하였다.
• 딥 레커런트 신경망은 도구와 페그의 운동에서 시간적 동적 특성을 효과적으로 포착하여 정확한 실시간 제어를 가능하게 하였다.
• 페퍼의 역운동역학 통합을 통해 시간 최소화된 부드러운 관절 궤적을 생성하여 작업 완료 속도 향상에 기여하였다.