[论文解读] Localizing dexterous surgical tools in X-ray for image-based navigation

Cong Gao, Mathias Unberath+2 more|arXiv (Cornell University)|Jan 20, 2019

Soft Robotics and Applications参考文献 11被引用 14

一句话总结

本文提出一种深度学习方法，通过基于物理的DeepDRR渲染生成的合成数据训练的卷积神经网络，实现X射线图像中灵巧手术器械的同步分割与定位。该方法在合成数据上的分割Dice分数达到0.996，关键点检测误差为0.365 mm，可为介入手术中的2D/3D图像配准提供鲁棒初始化。

ABSTRACT

X-ray image based surgical tool navigation is fast and supplies accurate images of deep seated structures. Typically, recovering the 6 DOF rigid pose and deformation of tools with respect to the X-ray camera can be accurately achieved through intensity-based 2D/3D registration of 3D images or models to 2D X-rays. However, the capture range of image-based 2D/3D registration is inconveniently small suggesting that automatic and robust initialization strategies are of critical importance. This manuscript describes a first step towards leveraging semantic information of the imaged object to initialize 2D/3D registration within the capture range of image-based registration by performing concurrent segmentation and localization of dexterous surgical tools in X-ray images. We presented a learning-based strategy to simultaneously localize and segment dexterous surgical tools in X-ray images and demonstrate promising performance on synthetic and ex vivo data. We currently investigate methods to use semantic information extracted by the proposed network to reliably and robustly initialize image-based 2D/3D registration. While image-based 2D/3D registration has been an obvious focus of the CAI community, robust initialization thereof (albeit critical) has largely been neglected. This manuscript discusses learning-based retrieval of semantic information on imaged-objects as a stepping stone for such initialization and may therefore be of interest to the IPCAI community. Since results are still preliminary and only focus on localization, we target the Long Abstract category.

研究动机与目标

• 为解决在X射线 fluoroscopy 中灵巧手术器械的2D/3D图像配准初始化问题，该问题因捕获范围狭窄而具有挑战性。
• 开发一种基于学习的方法，利用语义信息（分割与关键点）提升X射线图像中器械位姿估计的鲁棒性与准确性。
• 仅通过2D X射线成像实现连续型灵巧操作器（CDMs）在微创骨科手术中的精确术中导航。
• 在合成的基于物理的X射线图像（DeepDRRs）上训练卷积神经网络，使其在无需微调的情况下泛化至真实临床数据。
• 在合成数据和离体尸体X射线图像上评估该方法，以评估其泛化能力与临床可行性。

提出的方法

• 采用类似U-Net的编码器-解码器卷积神经网络，通过跳跃连接联合执行CDM的2D分割与关键点检测。
• 网络在使用DeepDRR（一种基于物理的数字断层合成渲染器）生成的合成X射线图像上进行训练，该渲染器可模拟X射线衰减、散射与噪声。
• CDM被建模为直径6 mm的镍钛诺材料器械，具有26个交替凹槽，其形状通过5个控制点的三次样条曲线参数化以实现平滑弯曲。
• 真实标签包括凹槽区域的2D分割掩码以及两个关键点的置信度图（高斯分布）：第一个凹槽基底连接点与最后一个凹槽的远端。
• 损失函数包括用于分割的Dice损失和用于关键点定位的L2损失，学习率在100个周期内衰减。
• 数据增强包括随机采样CDM姿态、源-探测器距离（1200 mm）、源-等中心距离（400–500 mm）以及旋转角度（LAO/RAO：0–360°，CRAN/CUAD：75–105°），并结合随机平移与弯曲角度。

实验结果

研究问题

• RQ1 在合成的基于物理的X射线图像上进行训练的深度学习模型，能否在真实X射线 fluoroscopy 中准确分割与定位灵巧手术器械？

主要发现

• 在合成数据上，模型的平均Dice分数为0.996 ± 0.001，表明掩码预测接近完美。
• 在合成数据上，关键点检测的平均L2误差为0.365 ± 0.345 mm，显示出极高的定位精度。
• 在离体尸体X射线图像上，模型的平均Dice分数为0.915 ± 0.063，平均L2误差为2.54 ± 0.95 mm，表明其对真实世界数据具有强大的泛化能力。
• 在训练中未见的配置下（如器械完全位于骨骼外），观察到性能下降，表现为标准差更高。
• 使用置信度图进行关键点监督相比直接回归显著提升了定位准确性。
• 该方法通过提供语义线索（分割与关键点）实现了2D/3D配准的可靠初始化，这对鲁棒的图像引导导航至关重要。