[论文解读] Image-Guided Navigation of a Robotic Ultrasound Probe for Autonomous Spinal Sonography Using a Shadow-aware Dual-Agent Framework

Keyu Li, Yangxin Xu+4 more|arXiv (Cornell University)|Nov 3, 2021

Soft Robotics and Applications参考文献 43被引用 45

一句话总结

该论文提出了一种阴影感知的双智能体框架，结合强化学习（RL）与深度学习（DL），以自主导航机器人的超声探头获取标准脊柱超声图像。RL智能体基于实时超声图像规划6自由度探头运动，而DL智能体则检测标准视图；一种新型视图特定的声影奖励机制引导导航，实现在受试者内设置下5.18 mm/5.25°的精度，以及受试者间设置下12.87 mm/17.49°的精度。

ABSTRACT

Ultrasound (US) imaging is commonly used to assist in the diagnosis and interventions of spine diseases, while the standardized US acquisitions performed by manually operating the probe require substantial experience and training of sonographers. In this work, we propose a novel dual-agent framework that integrates a reinforcement learning (RL) agent and a deep learning (DL) agent to jointly determine the movement of the US probe based on the real-time US images, in order to mimic the decision-making process of an expert sonographer to achieve autonomous standard view acquisitions in spinal sonography. Moreover, inspired by the nature of US propagation and the characteristics of the spinal anatomy, we introduce a view-specific acoustic shadow reward to utilize the shadow information to implicitly guide the navigation of the probe toward different standard views of the spine. Our method is validated in both quantitative and qualitative experiments in a simulation environment built with US data acquired from 17 volunteers. The average navigation accuracy toward different standard views achieves 5.18mm/5.25deg and 12.87mm/17.49deg in the intra- and inter-subject settings, respectively. The results demonstrate that our method can effectively interpret the US images and navigate the probe to acquire multiple standard views of the spine.

研究动机与目标

• 通过实现标准脊柱超声图像的自主获取，减轻超声医师的认知与体力负担。
• 解决医疗超声中机器人探头导航的挑战，该挑战需要实时图像解读与精确运动规划。
• 在患者间解剖结构差异存在的情况下，提升导航的精度与鲁棒性。
• 开发一个基于真实超声数据、真实模拟探头-组织相互作用的仿真环境，用于训练与验证。
• 整合通常被忽略的声影信息作为特定任务的奖励信号，以隐式引导探头导航至目标脊柱视图。

提出的方法

• 端到端训练一个深度强化学习（RL）智能体，基于实时B型超声图像控制机器人探头的6自由度运动。
• 引入一种视图特定的声影奖励（ASR），利用脊柱超声图像中的自然声影作为RL导航的隐式引导。
• 预先训练的深度学习（DL）智能体实时识别标准视图（PSL、PSAP、TSP），提供反馈并共同决定探头运动。
• 双智能体框架采用协作导航工作流程，RL智能体接收导航奖励，DL智能体提供视图识别反馈，且在安全约束下运行。
• 利用17名志愿者的真实超声数据构建仿真环境，支持连续状态与动作空间的训练与评估。
• RL智能体使用最近4帧超声图像的堆叠观测，以将时间动态信息融入决策过程。

实验结果

研究问题

• RQ1 双智能体RL-DL框架是否能仅基于实时超声图像有效引导机器人超声探头，自主获取标准脊柱视图？
• RQ2 在脊柱超声中，整合视图特定的声影信息在多大程度上提升了导航的精度与鲁棒性？
• RQ3 所提出的框架在存在解剖结构差异的不同受试者之间，其泛化能力如何？
• RQ4 与独立的RL智能体相比，RL与DL智能体之间的协作如何提升导航性能？
• RQ5 基于真实超声数据的仿真环境是否能有效支持机器人超声导航策略的训练与验证？

主要发现

• 所提出的框架在受试者内设置下实现了平均5.18 mm与5.25°的导航精度，表明在受控条件下具有高精度。
• 在更具挑战性的受试者间设置下，平均导航精度为12.87 mm与17.49°，表明尽管存在解剖结构差异，仍具备鲁棒性。
• 与未使用该信号的基线RL智能体相比，视图特定声影奖励的整合显著提升了导航性能。
• 双智能体协作导航工作流程提升了精度与效率，表现为收敛性改善及最终停止位置的姿态误差降低。
• 仿真环境成功再现了真实世界超声采集的动力学特性，有效支持了导航策略的训练与评估。
• 该方法显示出临床部署的潜力，但跨多样化患者解剖结构的泛化能力仍面临挑战，需更大规模数据集支持。