[论文解读] Autonomous Robotic Screening of Tubular Structures based only on Real-Time Ultrasound Imaging Feedback

Zhongliang Jiang, Zhenyu Li+7 more|arXiv (Cornell University)|Oct 30, 2020

Coronary Interventions and Diagnostics参考文献 32被引用 6

一句话总结

本文提出了一种端到端的机器人超声系统，仅通过实时超声成像反馈即可自主筛查管状结构。通过结合基于U-Net的血管分割与约束优化框架以估计中心线和半径，该系统能自动将探头对准血管的法线方向并维持最佳成像效果，在体模实验中实现了亚毫米级的中心定位与半径估计精度。

ABSTRACT

Ultrasound (US) imaging is widely employed for diagnosis and staging of peripheral vascular diseases (PVD), mainly due to its high availability and the fact it does not emit radiation. However, high inter-operator variability and a lack of repeatability of US image acquisition hinder the implementation of extensive screening programs. To address this challenge, we propose an end-to-end workflow for automatic robotic US screening of tubular structures using only the real-time US imaging feedback. We first train a U-Net for real-time segmentation of the vascular structure from cross-sectional US images. Then, we represent the detected vascular structure as a 3D point cloud and use it to estimate the longitudinal axis of the target tubular structure and its mean radius by solving a constrained non-linear optimization problem. Iterating the previous processes, the US probe is automatically aligned to the orientation normal to the target tubular tissue and adjusted online to center the tracked tissue based on the spatial calibration. The real-time segmentation result is evaluated both on a phantom and in-vivo on brachial arteries of volunteers. In addition, the whole process is validated both in simulation and physical phantoms. The mean absolute radius error and orientation error ($\pm$ SD) in the simulation are $1.16\pm0.1~mm$ and $2.7\pm3.3^{\circ}$, respectively. On a gel phantom, these errors are $1.95\pm2.02~mm$ and $3.3\pm2.4^{\circ}$. This shows that the method is able to automatically screen tubular tissues with an optimal probe orientation (i.e. normal to the vessel) and at the same to accurately estimate the mean radius, both in real-time.

研究动机与目标

• 为解决手工超声检查中操作者间差异大的问题，实现对管状结构的完全自主机器人筛查。
• 通过仅依赖实时超声反馈，消除对术前影像或外部传感器的依赖。
• 在扫查过程中实现实时、稳定的探头姿态对准血管的法线方向。
• 即使探头偏离理想法线方向，也能准确估计血管半径。
• 开发对分割误差具有鲁棒性、并适用于临床部署的实时系统。

提出的方法

• 训练一个基于U-Net的深度学习模型，用于从实时2D超声图像中分割出血管的横截面。
• 将分割得到的血管轮廓转换为3D点云，通过约束非线性优化方法估计血管中心线和局部半径。
• 系统通过图像反馈迭代调整探头姿态，以保持目标血管在超声图像中居中并对准法线方向。
• 采用帧间对应策略，通过最小化连续帧之间的空间距离，选择最合理的血管检测结果，从而减少因假阳性导致的跟踪误差。
• 整个处理流程实现实时运行，每帧平均处理时间为32毫秒，支持扫查过程中的动态自适应。
• 采用阻抗控制策略，确保探头与组织之间安全、柔性的接触，同时容许微小的位置误差。

实验结果

研究问题

• RQ1 仅通过实时超声反馈，机器人超声系统能否自主维持最优探头方向与中心定位？
• RQ2 当探头偏离法线方向时，能否仍实现准确的血管半径估计？
• RQ3 系统如何应对分割错误并保持在连续扫查过程中的稳定跟踪？
• RQ4 系统在仿真与物理体模中的实时性能与精度如何？
• RQ5 该方法能否扩展至体内应用，且对术前数据或外部传感器的依赖极低？

主要发现

• 在凝胶体模中，系统实现了平均绝对方向误差3.7° ± 1.6°，中心定位误差0.2毫米 ± 0.2毫米，半径误差0.8毫米 ± 0.4毫米。
• 在仿真中，系统实现了方向误差2.7° ± 3.3°，半径误差1.16毫米 ± 0.1毫米。
• 整个系统实现实时运行，每帧平均处理时间为32毫秒，U-Net推理仅耗时5毫秒。
• 该方法在16秒扫查过程中成功保持血管中心定位与最优探头方向，8秒内实现稳定收敛。
• 通过基于空间接近度的帧间对应策略，系统对分割假阳性具有鲁棒性。
• 该方法实现了无需术前影像或外部传感器的可重复、自主超声筛查，为完全自动化的血管筛查铺平了道路。