[論文レビュー] Robotic Navigation Autonomy for Subretinal Injection via Intelligent Real-Time Virtual iOCT Volume Slicing

Shervin Dehghani, Michael Sommersperger+7 more|PubMed|Jan 17, 2023

Retinal and Macular Surgery参考文献 37被引用数 5

ひとこと要約

本論文は、術中OCT（iOCT）ボリュームのリアルタイム処理を活用した、自律的ロボット補強下視網膜注射のエンドツーエンドフレームワークを提示する。インストルメントに合わせた2次元スライスである知能型バーチャルBスキャン（CNNベース）を導入することで、高速な3次元インストルメントポーズ推定とオンライン登録を可能とし、交差したブタの眼で30μm未満のターゲティング精度を達成した。

ABSTRACT

In the last decade, various robotic platforms have been introduced that could support delicate retinal surgeries. Concurrently, to provide semantic understanding of the surgical area, recent advances have enabled microscope-integrated intraoperative Optical Coherent Tomography (iOCT) with high-resolution 3D imaging at near video rate. The combination of robotics and semantic understanding enables task autonomy in robotic retinal surgery, such as for subretinal injection. This procedure requires precise needle insertion for best treatment outcomes. However, merging robotic systems with iOCT introduces new challenges. These include, but are not limited to high demands on data processing rates and dynamic registration of these systems during the procedure. In this work, we propose a framework for autonomous robotic navigation for subretinal injection, based on intelligent real-time processing of iOCT volumes. Our method consists of an instrument pose estimation method, an online registration between the robotic and the iOCT system, and trajectory planning tailored for navigation to an injection target. We also introduce <i>intelligent virtual B-scans</i>, a volume slicing approach for rapid instrument pose estimation, which is enabled by Convolutional Neural Networks (CNNs). Our experiments on ex-vivo porcine eyes demonstrate the precision and repeatability of the method. Finally, we discuss identified challenges in this work and suggest potential solutions to further the development of such systems.

研究の動機と目的

• 術中OCT（iOCT）画像を用いたリアルタイムで自律的なロボットナビゲーションを可能とすること。
• ロボットインストルメントとiOCTボリューム間の高スループットデータ処理と動的登録の課題に対処すること。
• 3次元iOCT処理の複雑さを軽減するため、効率的なポーズ推定を可能とするインストルメントに合わせたバーチャルBスキャンの生成。
• 自動軌道計画と実行と併せて、医師が関与する制御を統合すること。
• 現実的な手術条件下で、ex-vivoブタの眼モデルにおける精度と再現性を実証すること。

提案手法

• 医師が関与するワークフローを提唱。ロボット制御とiOCTボリューム取得、リアルタイム処理を統合。
• 「知能型バーチャルBスキャン」を導入。3次元iOCTボリュームから自動選択された、インストルメントに合わせた2次元スライス。3次元ポーズ推定を簡素化。
• コンvolutional neural networks（CNN）を用いて、バーチャルBスキャン内でのインストルメントおよび組織構造のリアルタイム2次元セグメンテーションを実施。
• フィドーシアルマーカーとインストルメントポーズフィードバックを用いて、ロボットシステムとiOCTボリューム間のオンライン登録を実行。
• リアルタイムでのインストルメントポーズとターゲットポイント選択に基づく軌道計画を実施。初期の実験では並進運動のみを採用。
• 実行中は固定速度のロボットモーションプロファイルを用い、将来的には動的スピード制御への拡張を想定。

Figure 1: Overview of the proposed system, consisting of an iOCT Microscope (a), which is used for volume acquisition and data transmission to the computation unit (b). A following step enables the surgeon can choose a target point for applying an injection. All the necessary computations are applie

実験結果

リサーチクエスチョン

• RQ1 ボリューム型iOCTデータのリアルタイム処理は、補強下視網膜注射のための正確で再現性のあるロボットナビゲーションを可能にするか？
• RQ2 動的に選択されたバーチャルBスキャンの2次元処理を用いて、3次元インストルメントポーズ推定を効率的に近似できるか？
• RQ3 知能型バーチャルBスキャンとオンライン登録によってガイドされたロボットシステムのターゲティング精度はどの程度達成可能か？
• RQ4 組織の変形はナビゲーション性能にどのように影響するか。また、リアルタイムデータ取得は精度を維持するためにどの程度重要か？
• RQ5 iOCTとロボットシステムの統合は、網膜手術における臨床的導入に耐えうるほど堅牢で効率的に行えるか？

主な発見

• ターゲットが網膜下空間にある場合、平均ターゲティング誤差は24±5μmに達し、高い精度を示した。
• 網膜内にターゲットを設定した場合、平均誤差は32±4μmであり、より深い網膜層ではやや精度が低下した。
• 試行全体における誤差分布は一貫性があり、ほとんどすべてのニードル先端がターゲットから30μm以内に位置していた。
• 空気中での実験では、ex-vivo組織内での実験よりも誤差が低く、組織の変形とインストルメント-組織相互作用が精度に影響を与えることが示唆された。
• 知能型バーチャルBスキャンの使用により、計算複雑性が顕著に低減され、高スループットのiOCTデータレートでもリアルタイム処理が可能になった。
• 本フレームワークは曲がったインストルメントに対しても適応可能であり、将来的にはRCMベースの回転と動的スピード制御の統合が可能である。

Figure 2: The proposed workflow follows volume processing and visualization (a), planning (b) and execution (c) stages.