[論文レビュー] Autonomous Robotic Screening of Tubular Structures based only on Real-Time Ultrasound Imaging Feedback

Zhongliang Jiang, Zhenyu Li+7 more|arXiv (Cornell University)|Oct 30, 2020

Coronary Interventions and Diagnostics参考文献 32被引用数 6

ひとこと要約

本論文では、リアルタイムの超音波画像フィードバックのみを用いて、管状構造を自律的かつエンドツーエンドでスクリーニングするロボット超音波システムを提示する。U-Netに基づく血管セグメンテーションと、中心線および半径を推定する制約付き最適化フレームワークを組み合わせることで、システムは血管の法線方向にプローブを自動的に整列させ、最適な画像取得を維持し、フォントレットで0.2mm未満の中心化精度と半径推定精度を達成した。

ABSTRACT

Ultrasound (US) imaging is widely employed for diagnosis and staging of peripheral vascular diseases (PVD), mainly due to its high availability and the fact it does not emit radiation. However, high inter-operator variability and a lack of repeatability of US image acquisition hinder the implementation of extensive screening programs. To address this challenge, we propose an end-to-end workflow for automatic robotic US screening of tubular structures using only the real-time US imaging feedback. We first train a U-Net for real-time segmentation of the vascular structure from cross-sectional US images. Then, we represent the detected vascular structure as a 3D point cloud and use it to estimate the longitudinal axis of the target tubular structure and its mean radius by solving a constrained non-linear optimization problem. Iterating the previous processes, the US probe is automatically aligned to the orientation normal to the target tubular tissue and adjusted online to center the tracked tissue based on the spatial calibration. The real-time segmentation result is evaluated both on a phantom and in-vivo on brachial arteries of volunteers. In addition, the whole process is validated both in simulation and physical phantoms. The mean absolute radius error and orientation error ($\pm$ SD) in the simulation are $1.16\pm0.1~mm$ and $2.7\pm3.3^{\circ}$, respectively. On a gel phantom, these errors are $1.95\pm2.02~mm$ and $3.3\pm2.4^{\circ}$. This shows that the method is able to automatically screen tubular tissues with an optimal probe orientation (i.e. normal to the vessel) and at the same to accurately estimate the mean radius, both in real-time.

研究の動機と目的

• 手動超音波スクリーニングにおける高レベルのオペレーター間ばらつきを是正するため、管状構造の完全に自律的なロボットスクリーニングを可能にすること。
• 術前画像や外部センサーに依存しないようにし、リアルタイムの超音波フィードバックのみに依存すること。
• スキャン中に、血管の法線方向に安定してプローブ姿勢を整えること。
• 理想的な法線方向からずれた状態でも、血管の半径を正確に推定できること。
• セグメンテーション誤検出に強く、臨床現場への導入に耐えうるリアルタイム動作が可能なシステムの開発

提案手法

• リアルタイム2次元超音波画像から血管断面をセグメンテーションするためのU-Netディープラーニングモデルを学習する。
• セグメンテーションされた血管輪郭を3次元点群に変換し、制約付き非線形最適化により血管中心線と局所的半径を推定する。
• 画像フィードバックを用いて、システムは反復的にプローブの姿勢を調整し、標的血管を画像中央に保ち、法線方向に整列させる。
• 連続するフレーム間の空間的距離を最小化することで、最も妥当な血管検出を選択するフレーム対応戦略を採用し、誤検出に起因するトラッキング誤差を低減する。
• パイプライン全体がリアルタイムで動作し、1フレームあたり平均32msの処理時間であり、スキャン中の動的適応が可能である。
• 位置誤差が小さくても安全で柔軟な組織接触を実現するため、インピーダンス制御が用いられる。

実験結果

リサーチクエスチョン

• RQ1 リアルタイム超音波フィードバックのみを用いて、自律的かつ最適なプローブ姿勢と中心化を維持できるか？
• RQ2 理想的な法線方向からずれた状態でも、正確な血管半径推定が可能か？
• RQ3 連続スキャン中にセグメンテーション誤検出にどう対処し、トラッキングのロバスト性を保っているか？
• RQ4 シミュレーションおよび物理的フォントレットの両方において、システムのリアルタイム性能と精度はどの程度か？
• RQ5 本手法は、術前データや外部センサーへの依存を最小限に抑えて、in-vivo応用に拡張可能か？

主な発見

• ゲルフォントレットでは、平均絶対方向誤差が3.7° ± 1.6°、中心化誤差が0.2 mm ± 0.2 mm、半径誤差が0.8 mm ± 0.4 mmを達成した。
• シミュレーションでは、方向誤差が2.7° ± 3.3°、半径誤差が1.16 mm ± 0.1 mmを達成した。
• システム全体がリアルタイムで動作し、1フレームあたり平均32msの処理時間であり、U-Net推論はわずか5msである。
• 16秒間のスキャン中に、血管の中心化と最適なプローブ姿勢が安定して維持され、8秒で安定した収束を示した。
• 空間的近接性に基づくフレーム対応戦略により、セグメンテーションの誤検出に対してもロバストであることが確認された。
• 術前画像や外部センサーに依存せず、繰り返し可能な自律的超音波スクリーニングが可能であり、完全に自動化された血管スクリーニングの道筋が開かれた。