[論文レビュー] On-the-fly hand-eye calibration for the da Vinci surgical robot

Zejian Cui, Ferdinando Rodriguez y Baena|arXiv (Cornell University)|Jan 21, 2026

Soft Robotics and Applications被引用数 0

ひとこと要約

この論文は訓練不要の、オンザ-fly ハンドアイ較正フレームワークを単眼RMISに提供し、キー点関連付け手法をJCBBベースのデータフュージョンといくつかのフィルタベース推定器と組み合わせることで、ケーブル駆動ダ・ヴィンチロボットにおけるツールローカライズの頑健性を実現します。

ABSTRACT

In Robot-Assisted Minimally Invasive Surgery (RMIS), accurate tool localization is crucial to ensure patient safety and successful task execution. However, this remains challenging for cable-driven robots, such as the da Vinci robot, because erroneous encoder readings lead to pose estimation errors. In this study, we propose a calibration framework to produce accurate tool localization results through computing the hand-eye transformation matrix on-the-fly. The framework consists of two interrelated algorithms: the feature association block and the hand-eye calibration block, which provide robust correspondences for key points detected on monocular images without pre-training, and offer the versatility to accommodate various surgical scenarios by adopting an array of filter approaches, respectively. To validate its efficacy, we test the framework extensively on publicly available video datasets that feature multiple surgical instruments conducting tasks in both in vitro and ex vivo scenarios, under varying illumination conditions and with different levels of key point measurement accuracy. The results show a significant reduction in tool localization errors under the proposed calibration framework, with accuracies comparable to other state-of-the-art methods while being more time-efficient.

研究の動機と目的

• ケーブル駆動RMIS（例：ダ・ヴィンチ）におけるツールローカライズの精度を、オンザフライでハンドアイ変換を推定することで改善。
• キー点関連付けの事前学習モデルへの依存を排除し、機器とシナリオ間での一般化を強化。
• 照明変化と測定ノイズに適応できる頑健なデータ関連付けと状態推定フレームワークを提供。
• 外科的文脈における異なるノイズ分布に対応するためのフィルタベース較正手法の範囲を提供。

提案手法

• 較正特徴として機械部CADモデル上のキー点を定義。
• 訓練なしのヤコビアンベースのデータ連携と可視性チェックを用いて、画像平面のキー点をCADラベルと関連付け、未観測点を除外。
• JCBB（Joint Compatibility Branch and Bound）をマハラノビス距離に基づくスコアリングと組み合わせて、グローバルに一貫した関連付けを選択。
• 対応を前方運動学とカメラ投影を通して伝播させ、最適化の要となるヤコビアンを導出することでハンドアイ変換を計算。
• 視覚測定と運動学を統合する状態推定ブロック（EKF、PF等）を採用し、頑健なハンドアイ較正を実現。
• 機器側の可視性（前/後、左/右）を活用して候補キー点を減少させ、データ連携を高速化する可視性テストを組み込む。

実験結果

リサーチクエスチョン

• RQ1 訓練なしの単眼視覚を用いたオンザフライのハンドアイ較正は、前処理済みモデルと同等のローカライズ精度を達成できるか。
• RQ2 提案されたJCBBベースのデータ連携は、照明変動とキー点測定ノイズの下でどの程度性能を発揮するか。
• RQ3 キー点の可視性ベースの絞り込みは、精度を犠牲にせず実行時間を改善するか。
• RQ4 提案された関連付けを用いた場合、異なるフィルタ推定器（例：EKF）による最終的なハンドアイ姿勢推定値への影響はどうなるか。

主な発見

• 提案された較正スキームの下でツールローカライズ誤差を大幅に低減。
• 精度は他の最先端手法と同等で、時間効率の向上を実現。
• キー点関連付けは訓練不要で、CADモデルが利用可能なさまざまな外科用機器へ一般化。
• 可視性チェックブロックにより不可視のキー点を除外してデータ連携を高速化し、計算負荷を低減。
• JCBBベースのデータ連携は頑健な多仮説マッチングを提供し、ノイズや遮蔽の下で姿勢推定を改善。