[논문 리뷰] Surgi-HDTMR: Closing the Sensorimotor Loop in Bimanual Microsurgery via Haptics, Digital Twin, and Mixed Reality

Songming Ping, Shaoyue Wen외 4명|arXiv (Cornell University)|2026. 03. 15.

Teleoperation and Haptic Systems인용 수 0

한 줄 요약

Surgi-HDTMR는 마이크로수술을 위한 이중 손 촉각 원격 조작을 가능하게 하는 혼합 현실(MR) 및 디지털 트윈(DT) 훈련 시스템이다; 피험자 내 연구에서 촉각 및 DT를 사용할 때 2D baseline과 비교해 작업 완료 시간이 빨라지고 충돌이 줄어들며 정밀도와 지각된 작업부하가 개선되었다.

ABSTRACT

Robotic microsurgery demands precise bimanual control, intuitive interaction, and informative force feedback. However, most training platforms for robotic microsurgery lack immersive 3D interaction and high-fidelity haptics. Here, we present Surgi-HDTMR, a mixed-reality (MR) and digital-twin (DT) training system that couples bimanual haptic teleoperation with a benchtop microsurgical robotic platform, and 3D-printed phantoms. A metrically co-registered, time-synchronized DT aligns in-situ MR guidance with the physical workspace and drives a depth-adaptive haptic model that renders contact, puncture, and tissue-retraction forces. In a within-subjects study of simulated cortical navigation and tumor resection, Surgi-HDTMR shortened task time, reduced harmful contacts and collisions, and improved perceptual accuracy relative to non-haptic and non-adaptive baselines. These results suggest that tightly coupling MR overlays with a synchronized DT, together with depth-adaptive haptics, can accelerate skill acquisition and improve safety in robot-assisted microsurgery, pointing toward next-generation surgical training.

연구 동기 및 목표

• 전통적인 마이크로수술 훈련의 한계(2D 시각화, 단일 손 작업, 촉각의 부재)를 해결한다.
• MR 가이드, 깊이 반응 촉각 렌더링, 실시간 디지털 트윈 동기화를 결합한 구조적으로 분리된 시스템을 제안하여 양손 원격조작을 가능하게 한다.
• 객관적 성능 평가와 안전하고 적응적인 피드백을 통해 기술 습득 속도를 높인다.

제안 방법

• 현장 내 가이드용으로 미터 단위 정확한 MR 오버레이, 접촉, 천공 및 재인출 큐를 위한 깊이 적응 촉각 렌더링, 그리고 실시간 가이던스와 평가를 위한 동기화된 DT를 통합한다.
• 두 개의 Touch 컨트롤러, 이중 Sensapex 미크로매니푼레이터, Quest 3 MR 헤드셋으로 레이더-팔로워 원격조작 구성을 사용하고, 프레임 정합 대략 ~11 ms의 낮은 지연으로 작동한다.
• MR, 촉각, DT 파이프라인을 독립적으로 활성화/비활성화 가능하도록 구조적 분리를 유지하고 공유 안전 경계 제어 버스로 수렴한다.
• 여러 뷰 RGB-D 데이터와 텍스처로 metrically scaled DT를 생성하기 위해 장면 재구성을 자동화하여 MR 오버레이의 1 cm ≈ 0.1 Unity 단위 보장을 한다.
• 정수 모델을 이용한 깊이 적응 촉각 힘을 구현하되 법선/접선 성분, 천공 히스테시스, 안전 한계를 포함하고 1 kHz로 업데이트하며 90 Hz로 렌더링한다.
• Brain needle tracing 및 tumor resection 작업에 대해 피실험자 내 연구로 Surgi-HDTMR을 2D baseline과 비교하여 다양한 성능 및 작업부하 지표에서 평가한다.

실험 결과

연구 질문

• RQ1 공유된 MR 오버레이와 깊이 적응 촉각이 전통적인 2D 시각화와 비교해 이중 손 수술 훈련을 향상시킬 수 있는가?
• RQ2 실시간으로 동기화된 DT가 마이크로수술 과제에서 보다 안전하고 빠르며 더 정밀한 이중 손 조작을 가능하게 하는가?
• RQ3 MR, 촉각, DT의 구조적 분리가 시스템 사용성 및 학습 결과에 어떤 영향을 미치는가?
• RQ4 촉각을 활용한 훈련과 기본 훈련 간 objective 성능 지표와 주관적 작업부하 측정은 어떻게 다른가?
• RQ5 이 프레이워크가 신경외과 과제에서 역할 구분이 된 이중 손 기술 습득 속도를 가속화할 수 있는가?

주요 결과

• Surgi-HDTMR은 Brain 및 Tumor 과제에서 기본 대비 작업 지속 시간을 단축했다(p < 0.05).
• 충돌 지속 시간 및 천공 이벤트가 Surgi-HDTMR로 감소하여 안전성이 향상되었다(Brain 및 Tumor 과제).
• 왼손 정확도는 Surgi-HDTMR 하에서 향상되었고 종양 꼭짓점까지의 거리 감소가 유의하게 나타났다; 오른손 정확도는 경향성을 보였다.
• 브이앙수술(Task)에서 움직임 안정성(속도 변이)이 감소하여 이중 손 시나리오에서 제어가 향상되었다.
• 참가자들은 Surgi-HDTMR로 NASA-TLX 작업부하가 낮아졌다고 보고했으며 Brain/Tumor 과제에서 정신적/육체적 요구 및 좌절감의 감소가 뚜렷했다.
• 구성 요소 분석은 DT 시각화가 깊이 지각과 작업 완성도를 향상시키고 깊이 반응 촉각이 위험한 접촉을 줄이며 동기화가 속도 변이 감소에 기여한다고 시사한다.
• 구조적으로 분리된 아키텍처가 모듈식 제거 및 재작업 없이 작업 간 재활용을 가능하게 한다.