[論文レビュー] Real-time Rendering-based Surgical Instrument Tracking via Evolutionary Optimization

Hanyang Hu, Zekai Liang+2 more|arXiv (Cornell University)|Mar 12, 2026

Surgical Simulation and Training被引用数 0

ひとこと要約

要約: 本論文は、CMA-ESとバッチレンダリングを用いたリアルタイムのレンダリングベース追跡フレームワークを提案し、局所表示とノイズのある関節読取りの下で、関節操作器の姿勢と関節配置を同時に推定する。勾配法よりも高速・堅牢な追跡を実現し、単一手 vs 両手の設定にも拡張可能である。

ABSTRACT

Accurate and efficient tracking of surgical instruments is fundamental for Robot-Assisted Minimally Invasive Surgery. Although vision-based robot pose estimation has enabled markerless calibration without tedious physical setups, reliable tool tracking for surgical robots still remains challenging due to partial visibility and specialized articulation design of surgical instruments. Previous works in the field are usually prone to unreliable feature detections under degraded visual quality and data scarcity, whereas rendering-based methods often struggle with computational costs and suboptimal convergence. In this work, we incorporate CMA-ES, an evolutionary optimization strategy, into a versatile tracking pipeline that jointly estimates surgical instrument pose and joint configurations. Using batch rendering to efficiently evaluate multiple pose candidates in parallel, the method significantly reduces inference time and improves convergence robustness. The proposed framework further generalizes to joint angle-free and bi-manual tracking settings, making it suitable for both vision feedback control and online surgery video calibration. Extensive experiments on synthetic and real-world datasets demonstrate that the proposed method significantly outperforms prior approaches in both accuracy and runtime.

研究の動機と目的

• Partial visibility とノイズのある関節読取りの下で、ロボット支援低侵襲手術のための関節操作器の正確で効率的な姿勢推定を動機づける。
• 照合とレンダリングに基づく追跡パイプラインを開発し、演化的最適化アプローチを用いて機器の姿勢と見える関節角度を同時に推定する。
• バッチレンダリングと姿勢仮説の並列評価を通じて堅牢性とリアルタイム性能を向上させる。
• 視覚ベース制御およびオンラインビデオキャリブレーションでの用途拡張のため、関節角度なしおよび両手追跡へフレームワークを拡張する。

提案手法

• 観測機器の追跡を SE(3) のエンドエフェクタ姿勢と見える3つの関節角度の非線形最適化として定式化する。
• CMA-ES を用いて状態変数上のガウス分布を探索し、適合度をレンダリングと一致させる目的関数で評価する。
• バッチ化された順伝播運動学とレンダリングを用いて、姿勢候補のGPU加速並列評価を可能にする。
• セグメンテーションノイズに対する堅牢性を高めるため、レンダリング項とキーポイント整合項を統合したロスを定義する。
• 角度の制約を課すため、シャフト回転を分離してサンプリングを構造化する look-at 回転で姿勢を表現し、コサインベースの再パラメータ化で関節範囲を守る。
• 時間的にはカルマン様の運動モデルを用いたフィルタリングで推定を安定化させる。

Figure 1: Skeleton overlays of the top- $5$ CMA-ES samples across successive iterations. At each iteration, CMA-ES draws a population of candidate poses from a Gaussian distribution, evaluates their fitness using render-and-match objectives, and updates the distribution toward better solutions. With

実験結果

リサーチクエスチョン

• RQ1 CMA-ES とバッチレンダリングを用いて、単眼RGB入力からの関節姿勢推定をリアルタイムかつ堅牢に達成できるか。
• RQ2 姿勢と見える関節角を同時推定することで、ノイズのある測定に対して勾配法ベースより追跡精度が向上するか。
• RQ3 関節角度なしおよび両手追跡にフレームワークを一般化できるか。
• RQ4 キーポイント損失とセグメンテーション品質が追跡性能に与える影響はどの程度か。
• RQ5 ロボット学習のためのオンラインキャリブレーションを多ツール環境で実現できるか。

主な発見

• バッチレンダリング付き CMA-ES は、合成データ・実世界データの両方で、勾配ベースのベースラインよりも高い精度とより速いフレームあたりの実行時間を達成する。
• 姿勢と見える関節角を同時推定することで、関節読取りが利用可能な場合に全体的な性能が最も良くなる。
• 提案手法は、収集データ上のオンライン道具追跡において1k粒子のパーティクルフィルタのベースラインよりも優れており、整列と追跡の滑らかさで勝る。
• 関節角度なしの初期化を含むオンライン版は初期化が不適切でも堅牢で、勾配ベース法を上回る。
• 分離可能な CMA-ES ブロックを用いた両手追跡は複雑さを減らしつつ、共有フレームワーク内で二つのアームの同時最適化を可能にする。

Figure 2: Overview of the proposed framework. Given RGB video frames, segmentation masks and tool-tip detections are produced to define a render-and-match objective optimized via CMA-ES. At each iteration, pose candidates are sampled from the current distribution, evaluated in parallel through batch