[論文レビュー] Localizing dexterous surgical tools in X-ray for image-based navigation

Cong Gao, Mathias Unberath+2 more|arXiv (Cornell University)|Jan 20, 2019

Soft Robotics and Applications参考文献 11被引用数 14

ひとこと要約

本論文では、物理ベースのDeepDRRレンダリングによって生成された合成データで訓練された畳み込みニューラルネットワークを用いて、X線画像における多関節性外科用器具の同時セグメンテーションと局所化を実現する深層学習手法を提案する。この手法は、合成データ上でDICEスコア0.996の高いセグメンテーション精度と、0.365 mmの誤差を示すランドマーク検出精度を達成しており、画像誘導外科学研究における2D/3D画像ベース登録の堅牢な初期化を可能にする。

ABSTRACT

X-ray image based surgical tool navigation is fast and supplies accurate images of deep seated structures. Typically, recovering the 6 DOF rigid pose and deformation of tools with respect to the X-ray camera can be accurately achieved through intensity-based 2D/3D registration of 3D images or models to 2D X-rays. However, the capture range of image-based 2D/3D registration is inconveniently small suggesting that automatic and robust initialization strategies are of critical importance. This manuscript describes a first step towards leveraging semantic information of the imaged object to initialize 2D/3D registration within the capture range of image-based registration by performing concurrent segmentation and localization of dexterous surgical tools in X-ray images. We presented a learning-based strategy to simultaneously localize and segment dexterous surgical tools in X-ray images and demonstrate promising performance on synthetic and ex vivo data. We currently investigate methods to use semantic information extracted by the proposed network to reliably and robustly initialize image-based 2D/3D registration. While image-based 2D/3D registration has been an obvious focus of the CAI community, robust initialization thereof (albeit critical) has largely been neglected. This manuscript discusses learning-based retrieval of semantic information on imaged-objects as a stepping stone for such initialization and may therefore be of interest to the IPCAI community. Since results are still preliminary and only focus on localization, we target the Long Abstract category.

研究の動機と目的

• 多関節性外科用器具のX線 Fluoroscopy における2D/3D画像ベース登録を初期化する課題に取り組むこと。これは、狭いキャプチャ範囲に起因する。
• セマンティック情報（セグメンテーションとランドマーク）を活用する学習ベースの手法を開発し、X線画像内での器具ポーズ推定の堅牢性と精度を向上させること。
• 2D X線画像のみを用いて、最小侵襲的整形外科学研究におけるコンtinuum多関節的マニピュレータ（CDMs）の正確な術中ナビゲーションを可能にすること。
• 再トレーニングなしに臨床的実データに一般化可能な、物理ベースのX線画像（DeepDRRs）を用いた合成データで畳み込みニューラルネットワークをトレーニングすること。
• 本手法を合成データおよび生体外の解剖的死体X線画像の両方で評価し、一般化性能と臨床的妥当性を検証すること。

提案手法

• U-Netに類似したエンコーダ・デコーダ型畳み込みニューラルネットワークにスキップ接続を組み込み、CDMの2Dセグメンテーションとランドマーク検出を同時に実行する。
• ネットワークは、X線の減衰、散乱、ノイズをシミュレートする物理ベースのデジタルトモグラフィー・レンダラーであるDeepDRRを用いて生成された合成X線画像でトレーニングされる。
• CDMは直径6 mmのニチノール製で、26個の交互に配置された溝を持つものとしてモデル化され、滑らかな湾曲を実現するため、5つの制御点を用いた立方スプラインで形状をパラメータ化する。
• 教師強化学習には、溝領域の2Dセグメンテーションマスクと、2つの主要ランドマーク（最初の溝基部接合部と、最後の溝の先端）の信念マップ（ガウス分布）が含まれる。
• 損失関数には、セグメンテーション用のDice損失とランドマーク局所化用のL2損失を用い、100エポックにわたり学習率を段階的に低下させる。
• データ増強には、CDMのポーズ、ソースから検出器までの距離（1200 mm）、ソースから等中心までの距離（400–500 mm）、回転角度（LAO/RAO：0–360°、CRAN/CUAD：75–105°）のランダムサンプリングに加え、ランダムな平行移動と湾曲角度を含む。

実験結果

リサーチクエスチョン

• RQ1 物理ベースの合成X線画像でトレーニングされた深層学習モデルは、実際のX線フラuroscopyにおいて多関節性外科用器具のセグメンテーションと局所化を正確に実行できるか？

主な発見

• 合成データでは、セグメンテーションの平均DICEスコアが0.996 ± 0.001に達し、ほぼ完全なマスク予測を示した。
• 合成データにおけるランドマーク検出の平均L2誤差は0.365 ± 0.345 mmであり、高い局所化精度を示した。
• 生体外の解剖的死体X線画像では、平均DICEスコアが0.915 ± 0.063、平均L2誤差が2.54 ± 0.95 mmを達成し、実世界データへの強力な一般化性能を示した。
• トレーニング中に見られなかった設定（例：器具が骨の外に完全に位置する）では性能劣化が観察され、標準偏差が高くなった。
• 直接回帰よりも信念マップによるランドマーク監視の導入により、局所化精度が向上した。
• セグメンテーションとランドマークというセマンティックなヒントを提供することで、2D/3D登録の信頼性ある初期化が可能となり、画像誘導ナビゲーションの堅牢性に不可欠である。