[論文レビュー] Surgi-HDTMR: Closing the Sensorimotor Loop in Bimanual Microsurgery via Haptics, Digital Twin, and Mixed Reality

Songming Ping, Shaoyue Wen+4 more|arXiv (Cornell University)|Mar 15, 2026

Teleoperation and Haptic Systems被引用数 0

ひとこと要約

Surgi-HDTMR は混合現実とデジタルツインを用いたmicrosurgery向け二手ハプティクス遠隔操作訓練システム。被験者内研究により、ハプティクスとDTを用いた場合が、ベースラインと比較してタスク完了が速く、衝突が少なく、精度と認知的ワークロードの perceived が改善されることを示す。

ABSTRACT

Robotic microsurgery demands precise bimanual control, intuitive interaction, and informative force feedback. However, most training platforms for robotic microsurgery lack immersive 3D interaction and high-fidelity haptics. Here, we present Surgi-HDTMR, a mixed-reality (MR) and digital-twin (DT) training system that couples bimanual haptic teleoperation with a benchtop microsurgical robotic platform, and 3D-printed phantoms. A metrically co-registered, time-synchronized DT aligns in-situ MR guidance with the physical workspace and drives a depth-adaptive haptic model that renders contact, puncture, and tissue-retraction forces. In a within-subjects study of simulated cortical navigation and tumor resection, Surgi-HDTMR shortened task time, reduced harmful contacts and collisions, and improved perceptual accuracy relative to non-haptic and non-adaptive baselines. These results suggest that tightly coupling MR overlays with a synchronized DT, together with depth-adaptive haptics, can accelerate skill acquisition and improve safety in robot-assisted microsurgery, pointing toward next-generation surgical training.

研究の動機と目的

• 従来の microsurgical 訓練の限界（2D 表示、単手タスク、ハプティクス欠如）を解消する。
• MR ガイダンス、深度応答ハプティクス、リアルタイムデジタルツイン同期を組み合わせた構造的に分離された二手遠隔操作システムを提案する。
• 客観的なパフォーマンス評価と安全で適応的なフィードバックを実現し、スキル習得を加速する。

提案手法

• 現場適合のメトリック精度のMRオーバーレイ、接触・穿刺・牽引のための深度適応型ハプティクレンダリング、リアルタイムのガイダンスと評価のための同期DTを統合する。
• 2つのTouchコントローラ、デュアルSensapexマイクロマニピュレータ、Quest 3 MRヘッドセットを用いたリーダー–フォロワー型遠隔操作を、低遅延（約11 ms フレーム同期）で実施する。
• MR、ハプティク、DT の各パイプラインを独立して有効/無効化できる構造的分離を維持し、共通の安全境界制御バスへ収束させる。
• 多視点RGB-DデータとテクスチャからメトリックスケールのDTを自動生成し、MRオーバーレイの1 cm ≈ 0.1 Unity 単位を保証する。
• 深度適応型ハプティック力を法因モデル（法線/接線成分、穿刺ヒステリシス、安全限界）で1 kHz 更新・90 Hz 表示で実装する。
• ブレイン・ニードル追跡および腫瘍切除タスクを対象とした被験者内研究で、Surgi-HDTMR を2Dベースラインと比較して multiple パフォーマンスおよび workload 指標を評価する。

実験結果

リサーチクエスチョン

• RQ1 共回収された MR オーバーレイと深度適応ハプティクスは、従来の2D視覚化と比較して二手 microsurgical training を改善するか。
• RQ2 同期DT は microsurgical タスクにおいてより安全・速・正確な二手操作を可能にするか。
• RQ3 MR、ハプティク、DT の構造的分離はシステムの使い勝手と学習成果にどのような影響を与えるか。
• RQ4 客観的パフォーマンス指標と主観的ワークロード指標は、ハプティクス有効化とベースライン訓練でどのように異なるか。
• RQ5 このフレームワークは神経外科タスクにおける役割分化された二手スキルの習得を加速できるか。

主な発見

• Brain および Tumor タスクのタスク時間が、ベースラインに対してすべて短縮された（p < 0.05）。
• Surgi-HDTMR により衝突時間および穿刺イベントが減少し、安全性が向上した（Brain および Tumor タスク）。
• 左手の正確性が Surgi-HDTMR 下で改善され、腫瘍頂点までの距離の有意な短縮を示した；右手の正確性は傾向を示した。
• Tumor タスクでの運動安定性（速度のばらつき）が Surgi-HDTMR 下で低下し、二手状況での制御が改善された。
• 参加者は Surgi-HDTMR で NASA-TLX ワークロードが低下したと報告し、Brain/Tumor タスクで精神的・身体的負担およびフラストレーションの顕著な低下があった。
• コンポーネント分析は、DT の視覚化が深度知覚とタスク完遂を改善し、深度対応ハプティクスが有害接触を減らし、同期化が速度変動を抑制したことを示唆する。
• 構造的に分離されたアーキテクチャは、コントロールスタックを再設計することなくモジュラーなアブレーションやタスク間再利用を可能にする。