[論文レビュー] Image-Guided Navigation of a Robotic Ultrasound Probe for Autonomous Spinal Sonography Using a Shadow-aware Dual-Agent Framework

Keyu Li, Yangxin Xu+4 more|arXiv (Cornell University)|Nov 3, 2021

Soft Robotics and Applications参考文献 43被引用数 45

ひとこと要約

本稿では、強化学習（RL）とディープラーニング（DL）を組み合わせたシャドウ認識型デュアルエージェントフレームワークを提案し、標準的脊椎超音波画像の自動ナビゲーションを実現するロボット的エコー・プローブの制御を可能にする。RLエージェントはリアルタイムの超音波（US）画像に基づき6自由度（6-DOF）のプローブ運動を計画する。一方、DLエージェントは標準的視野を検出する。新規の視野特異的音響シャドウ報酬がナビゲーションをガイドする。被験者内設定では5.18 mm / 5.25°、被験者間設定では12.87 mm / 17.49°の精度を達成した。

ABSTRACT

Ultrasound (US) imaging is commonly used to assist in the diagnosis and interventions of spine diseases, while the standardized US acquisitions performed by manually operating the probe require substantial experience and training of sonographers. In this work, we propose a novel dual-agent framework that integrates a reinforcement learning (RL) agent and a deep learning (DL) agent to jointly determine the movement of the US probe based on the real-time US images, in order to mimic the decision-making process of an expert sonographer to achieve autonomous standard view acquisitions in spinal sonography. Moreover, inspired by the nature of US propagation and the characteristics of the spinal anatomy, we introduce a view-specific acoustic shadow reward to utilize the shadow information to implicitly guide the navigation of the probe toward different standard views of the spine. Our method is validated in both quantitative and qualitative experiments in a simulation environment built with US data acquired from 17 volunteers. The average navigation accuracy toward different standard views achieves 5.18mm/5.25deg and 12.87mm/17.49deg in the intra- and inter-subject settings, respectively. The results demonstrate that our method can effectively interpret the US images and navigate the probe to acquire multiple standard views of the spine.

研究の動機と目的

• 超音波セラピストの認知的・身体的負担を軽減するため、標準的脊椎超音波画像の自動取得を可能にすること。
• リアルタイムの画像解釈と正確な運動計画を要する医療超音波分野におけるロボット的プローブナビゲーションの課題に対処すること。
• 被験者間の解剖学的変異が存在する状況でも、ナビゲーションの正確性と頑健性を向上させること。
• 実際の超音波データを用いて、プローブと組織の相互作用をリアルisticallyにモデル化したシミュレーション環境を構築し、訓練と検証に活用すること。
• 通常無視されがちな音響シャドウ情報を、タスク固有の報酬信号として統合し、プローブナビゲーションをターゲット脊椎視野へと暗黙的にガイドすること。

提案手法

• エンドツーエンドに訓練されたディープ強化学習（RL）エージェントが、リアルタイムのBモードUS画像に基づき、ロボット的超音波プローブの6自由度（6-DOF）移動を制御する。
• 視野特異的音響シャドウ報酬（ASR）を導入し、脊椎US画像に自然に存在する音響シャドウを、RLナビゲーションの暗黙的ガイドとして活用する。
• 事前学習済みのディープラーニング（DL）エージェントが、US画像から標準的視野（PSL、PSAP、TSP）をリアルタイムに認識し、フィードバックを提供するとともに、プローブの運動を共同で決定する。
• デュアルエージェントフレームワークは、安全制約下で、RLエージェントがナビゲーション報酬を受け取り、DLエージェントが視野認識フィードバックを提供する協働ナビゲーションワークフローを採用する。
• 17名の被験者から得た実際のUSデータを用いて、訓練と評価に適した連続的な状態空間と行動空間を備えたシミュレーション環境を構築した。
• RLエージェントは、意思決定に時間的ダイナミクスを組み込むために、直近4枚のUSフレームのスタックされた観測値を使用する。

実験結果

リサーチクエスチョン

• RQ1 デュアルエージェントRL-DLフレームワークは、リアルタイムのUS画像のみを用いて、ロボット的超音波プローブを標準的脊椎視野へと自動的に誘導できるか？
• RQ2 視野特異的音響シャドウ情報の統合は、脊椎超音波診断におけるナビゲーションの正確性と頑健性をどのように向上させるか？
• RQ3 提案されたフレームワークは、解剖学的変異を示す異なる被験者間でどの程度一般化可能か？
• RQ4 RLエージェントとDLエージェントの協働は、単独のRLエージェントと比較して、ナビゲーション性能をどの程度向上させるか？
• RQ5 実際のUSデータに基づくシミュレーション環境は、ロボット的USナビゲーション方策の訓練と検証を効果的に行えるか？

主な発見

• 提案されたフレームワークは、被験者内設定で平均5.18 mmおよび5.25°のナビゲーション精度を達成し、制御された条件下での高い正確性を示した。
• より挑戦的な被験者間設定では、平均で12.87 mmおよび17.49°のナビゲーション精度を示し、解剖学的変異が存在する中でも頑健であることが示された。
• 視野特異的音響シャドウ報酬の統合により、この信号を有しないベースラインRLエージェントと比較して、ナビゲーション性能が顕著に向上した。
• デュアルエージェントの協働ナビゲーションワークフローは、収束の改善と最終停止位置のポーズ誤差の低減により、正確性と効率性の両方を向上させた。
• シミュレーション環境は、実世界のUS取得ダイナミクスを効果的に再現できており、ナビゲーション方策の訓練と評価に有効に機能した。
• 本手法は臨床応用の可能性を示しているが、多様な患者の解剖学的特徴への一般化は、さらなる大規模データセットの必要性を伴う課題のままである。