[論文レビュー] i3PosNet: Instrument Pose Estimation from X-Ray.

David Kügler, Andrei Stefanov+1 more|arXiv (Cornell University)|Feb 26, 2018

Dental Radiography and Imaging参考文献 1被引用数 5

ひとこと要約

i3PosNet は、幾何的制約を用いて単一のレントゲン画像から外科用手術器具の姿勢を推定する、畳み込みニューラルネットワークに基づくパッチベースの手法であり、0.031 mm ± 0.025 mm の平面内位置誤差（0.031° ± 1.126° の角度誤差）というサブミリメートルの精度を達成し、最小侵襲的骨外科手術の状況において、従来の画像登録手法を5倍以上上回る性能を示した。

ABSTRACT

Performing delicate Minimally Invasive Surgeries (MIS) forces surgeons to accurately assess the position and orientation (pose) of surgical instruments. In current practice, this pose information is provided by conventional tracking systems (optical and electro-magnetic). Two challenges render these systems inadequate for minimally invasive bone surgery: the need for instrument positioning with high precision and occluding tissue blocking the line of sight. Fluoroscopic tracking is limited by the radiation exposure to patient and surgeon. A possible solution is constraining the acquisition of x-ray images. The distinct acquisitions at irregular intervals require a pose estimation solution instead of a tracking technique. We develop i3PosNet (Iterative Image Instrument Pose estimation Network), a patch-based modular Deep Learning method enhanced by geometric considerations, which estimates the pose of surgical instruments from single x-rays. For the evaluation of i3PosNet, we consider the scenario of drilling in the otobasis. i3PosNet generalizes well to different instruments, which we show by applying it to a screw, a drill and a robot. i3PosNet consistently estimates the pose of surgical instruments better than conventional image registration techniques by a factor of 5 and more achieving in-plane position errors of 0.031 mm +- 0.025 mm and angle errors of 0.031 +- 1.126. Additional factors, such as depth are evaluated to 0.361 mm +- 8.98 mm from single radiographs.

研究の動機と目的

• 最小侵襲的骨外科手術において、視線の遮断や Fluoroscopy に起因する被ばく線量の問題が生じる従来のトラッキングシステムの限界を克服すること。
• 連続的な被ばくを回避するため、単一で不規則に撮影されたレントゲン画像からも信頼性の高い姿勢推定が可能な手法を開発すること。
• 光学的または電磁気的トラッキングシステムに依存せずに、正確な器具姿勢推定を実現すること。
• ドリル、スクリュー、ロボット器具など、さまざまな器具に一般化可能であることを目指し、困難な手術状況でも対応できること。
• 幾何的事前知識を強化したディープラーニングを用いて、より高い耐障害性を実現する高精度な姿勢推定を達成すること。

提案手法

• i3PosNet は、単一のレントゲン画像から局所的な画像特徴を抽出するパッチベースの畳み込みニューラルネットワークアーキテクチャを採用している。
• 姿勢推定の精度と一般化性能を向上させるために、ディープラーニングフレームワークに幾何的制約を統合している。
• 反復的リファインメントを用いて、1枚のレントゲン写真から外科用手術器具の3次元姿勢（位置と向き）を推定している。
• 合成および実際のレントゲンデータ上でエンドツーエンドに訓練することで、器具固有の外観と空間的関係を学習している。
• 再訓練を完全に新たに実施する必要なく、異なる器具に適応可能なモジュラー設計により姿勢推定を実現している。
• 予測の正則化と奥行きおよび角度推定の誤差低減を目的として、幾何的事前知識を活用している。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、連続的な Fluoroscopy を回避しつつ、単一のレントゲン画像から高精度に外科用手術器具の姿勢を推定できるか？
• RQ2 i3PosNet は、従来の画像登録手法と比較して、姿勢推定誤差の面でどの程度優れているか？
• RQ3 i3PosNet は、ドリル、スクリュー、ロボットなど、さまざまな種類の外科用手術器具にどの程度一般化できるか？
• RQ4 i3PosNet を用いた単一レントゲンからの奥行き推定の精度はどの程度か？
• RQ5 幾何的制約は、視認性が低い手術環境における姿勢推定の耐障害性と精度をどの程度向上させるか？

主な発見

• i3PosNet は、平面内位置誤差が 0.031 mm ± 0.025 mm に達し、従来の画像登録手法を5倍以上上回る性能を示した。
• 角度誤差は 0.031° ± 1.126° であり、器具の向き推定において高い角度精度を実現した。
• 単一レントゲンからの奥行き推定は 0.361 mm ± 8.98 mm に達し、2次元投影の固有の曖昧さにもかかわらず、妥当な精度を示した。
• ドリル、スクリュー、ロボットなど、さまざまな器具に再訓練なしで良好に一般化可能であった。
• 幾何的制約の統合により、特に視認性が低いか遮蔽状態にある手術状況でも、性能と安定性が向上した。
• 不規則なレントゲン撮影間隔に対しても、臨床ワークフローに適した柔軟性を示した。