[论文解读] i3PosNet: Instrument Pose Estimation from X-Ray.

David Kügler, Andrei Stefanov+1 more|arXiv (Cornell University)|Feb 26, 2018

Dental Radiography and Imaging参考文献 1被引用 5

一句话总结

i3PosNet 是一种基于深度学习的、基于图像块的方法，利用几何约束从单张X光片中估计手术器械的位姿，实现了亚毫米级精度（平面内位置误差为 0.031 mm ± 0.025 mm，角度误差为 0.031° ± 1.126°），在微创骨科手术场景中，其性能优于传统图像配准方法5倍以上。

ABSTRACT

Performing delicate Minimally Invasive Surgeries (MIS) forces surgeons to accurately assess the position and orientation (pose) of surgical instruments. In current practice, this pose information is provided by conventional tracking systems (optical and electro-magnetic). Two challenges render these systems inadequate for minimally invasive bone surgery: the need for instrument positioning with high precision and occluding tissue blocking the line of sight. Fluoroscopic tracking is limited by the radiation exposure to patient and surgeon. A possible solution is constraining the acquisition of x-ray images. The distinct acquisitions at irregular intervals require a pose estimation solution instead of a tracking technique. We develop i3PosNet (Iterative Image Instrument Pose estimation Network), a patch-based modular Deep Learning method enhanced by geometric considerations, which estimates the pose of surgical instruments from single x-rays. For the evaluation of i3PosNet, we consider the scenario of drilling in the otobasis. i3PosNet generalizes well to different instruments, which we show by applying it to a screw, a drill and a robot. i3PosNet consistently estimates the pose of surgical instruments better than conventional image registration techniques by a factor of 5 and more achieving in-plane position errors of 0.031 mm +- 0.025 mm and angle errors of 0.031 +- 1.126. Additional factors, such as depth are evaluated to 0.361 mm +- 8.98 mm from single radiographs.

研究动机与目标

• 为解决微创骨科手术中传统追踪系统存在的局限性，如视野遮挡和 fluoroscopy（ fluoroscopy ）带来的辐射暴露问题。
• 开发一种可在单张、非规则获取的X光片上可靠工作的位姿估计方法，避免持续的辐射暴露。
• 实现在不依赖光学或电磁追踪系统的情况下，实现高精度的器械位姿估计。
• 在具有挑战性的手术场景中，实现对不同类型器械（包括钻头、螺钉和机器人工具）的良好泛化能力。
• 通过引入几何先验增强的深度学习方法，实现高精度位姿估计，提升鲁棒性。

提出的方法

• i3PosNet 采用基于图像块的卷积神经网络架构，从单张X光片中提取局部图像特征。
• 该方法将几何约束整合进深度学习框架，以提升位姿估计的精度与泛化能力。
• 通过迭代优化，从单张透视影像中估计手术器械的3D位姿（位置与姿态）。
• 网络在合成数据与真实X光数据上进行端到端训练，以学习器械特有的外观特征与空间关系。
• 位姿估计采用模块化设计，可在不从头训练的前提下适配不同类型的器械。
• 该方法利用几何先验对预测结果进行正则化，降低深度与角度估计中的误差。

实验结果

研究问题

• RQ1 深度学习模型能否在避免持续 fluoroscopy 的前提下，从单张X光片中实现高精度的手术器械位姿估计？
• RQ2 i3PosNet 在位姿估计误差方面相较于传统图像配准技术表现如何？
• RQ3 i3PosNet 在不同类型的手术器械（如钻头、螺钉和机器人）之间具有多大程度的泛化能力？
• RQ4 使用 i3PosNet 从单张投影影像中进行深度估计的精度如何？
• RQ5 几何约束在低可视度手术环境中如何提升位姿估计的鲁棒性与精度？

主要发现

• i3PosNet 实现了 0.031 mm ± 0.025 mm 的平面内位置误差，相比传统图像配准方法性能提升5倍以上。
• 角度误差为 0.031° ± 1.126°，表明在器械姿态估计方面具有极高的角度精度。
• 从单张X光片中进行深度估计的误差为 0.361 mm ± 8.98 mm，尽管2D投影存在固有模糊性，但结果仍具合理精度。
• 该方法在不同器械（包括钻头、螺钉和机器人）之间具有良好泛化能力，无需为每类器械重新训练。
• i3PosNet 整合几何约束后显著提升了性能与稳定性，尤其在低可视度或遮挡严重的手术场景中表现更优。
• 模型对非规则X光采集间隔具有鲁棒性，适用于影像获取受限的临床工作流程。