[论文解读] 3D Path Planning from a Single 2D Fluoroscopic Image for Robot Assisted Fenestrated Endovascular Aortic Repair

Jian-Qing Zheng, Xiao-Yun Zhou+2 more|arXiv (Cornell University)|Sep 16, 2018

Aortic aneurysm repair treatments参考文献 11被引用 3

一句话总结

本文提出了一种基于单张2D fluoroscopic影像的实时3D机器人路径规划框架，用于机器人辅助的fenestrated endovascular aortic repair (FEVAR)。该方法通过图匹配将术前3D主动脉瘤（AAA）骨架与术中2D投影对齐，随后利用带长度和光滑性正则化的薄板样条（TPS）进行非刚性骨架形变，phantom验证中实现了2 mm的3D距离误差，且在准确性、鲁棒性和速度方面优于ICP-TPS。

ABSTRACT

The current standard of intra-operative navigation during Fenestrated Endovascular Aortic Repair (FEVAR) calls for need of 3D alignments between inserted devices and aortic branches. The navigation commonly via 2D fluoroscopic images, lacks anatomical information, resulting in longer operation hours and radiation exposure. In this paper, a framework for real-time 3D robotic path planning from a single 2D fluoroscopic image of Abdominal Aortic Aneurysm (AAA) is introduced. A graph matching method is proposed to establish the correspondence between the 3D preoperative and 2D intra-operative AAA skeletons, and then the two skeletons are registered by skeleton deformation and regularization in respect to skeleton length and smoothness. Furthermore, deep learning was used to segment 3D pre-operative AAA from Computed Tomography (CT) scans to facilitate the framework automation. Simulation, phantom and patient AAA data sets have been used to validate the proposed framework. 3D distance error of 2mm was achieved in the phantom setup. Performance advantages were also achieved in terms of accuracy, robustness and time-efficiency. All the code will be open source.

研究动机与目标

• 为解决FEVAR术中2D荧 Fluoroscopy 导航缺乏3D解剖结构信息的问题，该问题导致辐射暴露时间延长和手术时间增加。
• 仅使用单张术中2D荧 Fluoroscopy 图像，实现实时3D机器人路径规划。
• 通过整合深度学习用于术前分割和基于图的骨架对应关系，提升3D AAA形状重建的准确性与效率。
• 通过仅依赖单张2D投影实现3D路径重建，减少对多张荧 Fluoroscopy 图像或侵入性标志点的依赖。

提出的方法

• 采用6块U-Net结构，结合交叉熵损失和随机梯度下降，自动分割术前CT扫描中的主动脉瘤主干。
• 使用regionprops和bwareopen提取术前3D AAA骨架，使用MATLAB骨架化方法提取术中2D AAA骨架。
• 应用图匹配基于结构相似性在术前3D AAA骨架与术中2D AAA骨架之间建立拓扑对应关系。
• 通过薄板样条（TPS）对3D骨架进行非刚性配准，利用长度和光滑性约束正则化，以匹配2D投影。
• 该框架集成了深度学习用于自动术前分割，减少人工干预，提升流程自动化程度。
• 通过2D/3D距离误差和计算时间作为性能指标，在仿真、phantom和患者数据集上进行验证。

实验结果

研究问题

• RQ1 能否仅使用单张2D荧 Fluoroscopy 图像，在足够精度和速度下重建用于FEVAR机器人导航的3D路径？
• RQ2 尽管存在投影模糊性，如何稳健地建立术前3D AAA骨架与术中2D AAA骨架之间的拓扑对应关系？
• RQ3 与传统ICP-TPS相比，图匹配与TPS形变在AAA的2D/3D非刚性配准中性能提升如何？
• RQ4 深度学习在多大程度上可实现术前AAA分割的自动化，以支持实时3D路径规划？
• RQ5 所提出的框架能否实现亚秒级运行时间，以支持临床实时部署？

主要发现

• 在phantom设置中，所提方法实现了2 mm的3D距离误差，显著优于ICP-TPS基线方法。
• 在患者数据中，所提方法将平均2D距离误差降低至0.1222像素（标准差：0.1455），而ICP-TPS的误差为0.7061像素（标准差：3.0812）。
• 框架总运行时间约为0.9秒用于2D骨架化，0.8秒用于非刚性配准，而ICP-TPS耗时超过10分钟。
• 该方法在前后平面平移和旋转下表现出鲁棒性，在所有患者病例中均保持一致性能。
• 使用深度学习进行术前AAA分割实现了流程的自动化，但肾动脉和髂动脉分支仍需人工校正。
• 该框架在准确性和时间效率方面均优于ICP-TPS，所有数据集中2D和3D距离误差及其标准差均更低。