[논문 리뷰] Fast and Reliable Autonomous Surgical Debridement with Cable-Driven Robots Using a Two-Phase Calibration Procedure

Daniel Seita, Sanjay Krishnan외 4명|arXiv (Cornell University)|2017. 09. 19.

Soft Robotics and Applications참고 문헌 19인용 수 4

한 줄 요약

이 논문은 케이블 구동 수술용 로봇의 비선형적 위치 오차 문제를 해결하기 위해 두 단계 보정 방법을 제안한다. 이 방법은 거친 오차 보정을 위한 딥 뉴럴 네트워크(DNN)와 정 fine-tuning 을 위한 랜덤 포레스트(RF)를 조합하여 평균 위치 오차를 4.55mm에서 1.08mm로 감소시킨다. 이 방법은 건포도와 호박씨와 같은 작은 조각들을 94.5%의 성공률로 신속하고 신뢰성 있게 자동으로 제거할 수 있으며, 이는 이전 연구 대비 2.1배 빠른 속도이다.

ABSTRACT

Automating precision subtasks such as debridement (removing dead or diseased tissue fragments) with Robotic Surgical Assistants (RSAs) such as the da Vinci Research Kit (dVRK) is challenging due to inherent non-linearities in cable-driven systems. We propose and evaluate a novel two-phase coarse-to-fine calibration method. In Phase I (coarse), we place a red calibration marker on the end effector and let it randomly move through a set of open-loop trajectories to obtain a large sample set of camera pixels and internal robot end-effector configurations. This coarse data is then used to train a Deep Neural Network (DNN) to learn the coarse transformation bias. In Phase II (fine), the bias from Phase I is applied to move the end-effector toward a small set of specific target points on a printed sheet. For each target, a human operator manually adjusts the end-effector position by direct contact (not through teleoperation) and the residual compensation bias is recorded. This fine data is then used to train a Random Forest (RF) to learn the fine transformation bias. Subsequent experiments suggest that without calibration, position errors average 4.55mm. Phase I can reduce average error to 2.14mm and the combination of Phase I and Phase II can reduces average error to 1.08mm. We apply these results to debridement of raisins and pumpkin seeds as fragment phantoms. Using an endoscopic stereo camera with standard edge detection, experiments with 120 trials achieved average success rates of 94.5%, exceeding prior results with much larger fragments (89.4%) and achieving a speedup of 2.1x, decreasing time per fragment from 15.8 seconds to 7.3 seconds. Source code, data, and videos are available at https://sites.google.com/view/calib-icra/.

연구 동기 및 목표

• 케이블의 길이 변화와 히스테리시스로 인해 발생하는 케이블 구동 수술용 로봇 보조기구(예: dVRK)에서 비선형적 위치 오차 문제를 해결하기 위해.
• 복잡한 하드웨어나 광범위한 수동 캘리브레이션 없이도 비용 효율적이고 오프라인으로 수행 가능한 보정 절차를 개발하여 위치 정확도를 향상시키기 위해.
• 잡기 어려운 작은 습윤성 조각(예: 건포도, 호박씨 등)을 신뢰성 있게 자동으로 제거할 수 있도록 하기 위해.
• 이전의 자동 제거 시스템보다 더 빠른 실행 속도를 달성하여, 조각당 평균 시간을 15.8초에서 7.3초로 감소시키기 위해.

제안 방법

• 1단계에서 dVRK의 종단 기구에 빨간 테이프를 부착하고, 스테레오 카메라가 위치와 자세를 촬영하면서 내부 관절 센서가 기준 기준 프레임 구성 정보를 기록하는 무작위 오픈 루프 궤적을 수행한다.
• 스테레오 카메라 기반 픽셀 위치와 이산화된 SO(3) 자세를 기반으로 예측된 기준 기준 프레임 위치로 매핑하는 데 사용되는 딥 뉴럴 네트워크(DNN)를 훈련시켜 거친 변환 편향을 학습한다.
• 2단계에서 DNN 예측 위치를 바탕으로 로봇을 특정 목표 지점으로 이동시키며, 인쇄된 캘리브레이션 격자 위에서 인간 운영자가 종단 기구를 실제 위치로 수동으로 교정한다.
• 2단계에서 발생한 잔여 오차를 이용해 랜덤 포레스트(RF) 모델을 훈련시켜 정밀한 보정 편향을 학습한다.
• DNN+RF 파이프라인을 사용하여 엔도스코픽 영상에서 조각을 탐지하기 위해 에지 검출 기반 자동 제거 작업을 수행한다.
• 시스템은 그립퍼를 사용해 조각을 제거하며, 실행 속도의 저하 요인을 파악하기 위해 프레임 단위로 동작 단계를 분석한다.

실험 결과

연구 질문

• RQ1 DNN와 RF 학습을 조합한 두 단계 보정 절차가 케이블 구동 수술용 로봇의 위치 오차를 1mm 이하로 줄일 수 있는가?
• RQ2 제안된 보정 방법이 건포도나 호박씨처럼 작은 마찰력이 낮은 조각들을 안정적으로 자동으로 제거할 수 있는가?
• RQ3 이 방법은 이전의 자동 제거 시스템보다 더 큰, 더 관용적인 조각을 대상으로 한 것보다 더 빠른 실행 속도를 달성할 수 있는가?
• RQ4 DNN와 RF의 조합이 DNN 단독 또는 강체 기반 보정보다 성능 향상에 얼마나 기여하는가?
• RQ5 조각의 특성(예: 탄성, 표면 텍스처 등)이 오차율과 자동 제거 성공률에 얼마나 영향을 미치는가?

주요 결과

• 보정 없이 dVRK는 평균 위치 오차가 4.55mm를 보였으며, 1단계(DNN 단독) 보정 후 2.14mm로 감소하였다.
• DNN+RF 두 단계 보정을 통해 평균 오차는 1.08mm로 감소하여 밀리미터 이하 정확도를 달성하였다.
• 건포도와 호박씨 120회 시험에서 94.5%의 성공률을 기록하여 이전의 더 큰 조각을 대상으로 한 결과를 초월하였다.
• 조각당 평균 시간은 7.3초로 단축되어 이전 연구의 15.8초 대비 2.1배 빠른 속도를 달성하였다.
• DNN 단독 보정 시에는 추출 실패율이 28.33%(120회 중 4회)였지만, DNN+RF 보정 시에는 0.83%(120회 중 1회)로 감소하여 신뢰성 향상이 뚜렷하게 나타났다.
• 프레임 단위 분석 결과, '수용기로 이동' 및 '내려놓고 회전' 단계가 가장 느리며, 이는 향후 속도 최적화의 잠재적 기회를 시사한다.