[论文解读] Surgi-HDTMR: Closing the Sensorimotor Loop in Bimanual Microsurgery via Haptics, Digital Twin, and Mixed Reality

Songming Ping, Shaoyue Wen+4 more|arXiv (Cornell University)|Mar 15, 2026

Teleoperation and Haptic Systems被引用 0

一句话总结

Surgi-HDTMR 是一种混合现实与数字孪生训练系统，能够进行双手触觉远程操作以进行显微外科手术；同Subject 研究显示在有触觉和 DT 的条件下，任务完成更快、碰撞更少、精度和感知工作负荷均优于基线。

ABSTRACT

Robotic microsurgery demands precise bimanual control, intuitive interaction, and informative force feedback. However, most training platforms for robotic microsurgery lack immersive 3D interaction and high-fidelity haptics. Here, we present Surgi-HDTMR, a mixed-reality (MR) and digital-twin (DT) training system that couples bimanual haptic teleoperation with a benchtop microsurgical robotic platform, and 3D-printed phantoms. A metrically co-registered, time-synchronized DT aligns in-situ MR guidance with the physical workspace and drives a depth-adaptive haptic model that renders contact, puncture, and tissue-retraction forces. In a within-subjects study of simulated cortical navigation and tumor resection, Surgi-HDTMR shortened task time, reduced harmful contacts and collisions, and improved perceptual accuracy relative to non-haptic and non-adaptive baselines. These results suggest that tightly coupling MR overlays with a synchronized DT, together with depth-adaptive haptics, can accelerate skill acquisition and improve safety in robot-assisted microsurgery, pointing toward next-generation surgical training.

研究动机与目标

• 解决传统显微外科培训的局限性（2D 可视化、双手任务、缺乏触觉）。
• 提出一个结构上解耦的系统，结合 MR 指导、深度响应触觉和实时数字孪生同步，用于双手远程操作。
• 实现客观性能评估和安全、可适应的反馈，以加速技能获得。

提出的方法

• 集成三种模态：用于就地指导的计量准确的 MR 覆盖、用于接触、穿刺和回撤提示的深度自适应触觉呈现，以及用于实时指导与评估的同步数字孪生（DT）。
• 使用领导者–跟随者遥控操作设置，配备两台 Touch 控制器、双 Sensapex 微操纵器和 Quest 3 MR 头显，低时延运行（~11 ms 帧对齐）。
• 保持结构解耦，使 MR、触觉和 DT 流水线可独立启用/禁用，并汇聚到共享的安全边界控制总线。
• 自动场景重建以从多视角 RGB-D 数据与纹理生成计量缩放的 DT，确保 MR 覆盖中 1 cm ≈ 0.1 Unity 单位。
• 通过带有法向/切向分量、穿刺滞后与安全极限的参数模型实现深度自适应触觉力，更新频率为 1 kHz、以 90 Hz 渲染。
• 在同受试者设计中评估脑针穿刺与肿瘤切除任务，将 Surgi-HDTMR 与 2D 基线在多项性能与工作负荷指标上进行比较。

实验结果

研究问题

• RQ1 与传统 2D 可视化相比，共登记的 MR 覆盖与深度自适应触觉能否改善双手显微外科培训？
• RQ2 同步数字孪生是否使显微手术任务中的双手操作更安全、更快且更精确？
• RQ3 MR、触觉与 DT 的结构解耦对系统可用性与学习结果有何影响？
• RQ4 有触觉的培训与基线培训在客观性能指标与主观工作负荷方面有何差异？
• RQ5 该框架是否能加速在神经外科任务中分角色的双手技能获得？

主要发现

• Surgi-HDTMR 相较基线在脑部和肿瘤任务上缩短了任务时长（p<0.05）。
• 在脑部和肿瘤任务中，碰撞时长与穿刺事件减少，显示安全性提升。
• 在左手准确性方面，Surgi-HDTMR 显著降低到肿瘤尖端的距离；右手准确性呈现趋势性提升。
• 在肿瘤任务中，移动稳定性（速度波动）在 Surgi-HDTMR 下下降，表明双手场景中的控制能力提升。
• 受试者报告使用 Surgi-HDTMR 的 NASA-TLX 工作负荷降低，脑部/肿瘤任务中在心理和身体需求以及挫败感方面显著降低。
• 成分分析表明 DT 可视化改善深度知觉与任务完成；深度响应触觉减少危险接触；同步性降低速度波动。
• 结构解耦架构使模块化消融和跨任务复用成为可能，而无需重新工程化控制堆栈。