[论文解读] Metric-Driven Learning of Correspondence Weighting for 2-D/3-D Image Registration

Roman Schaffert, Jian Wang+3 more|arXiv (Cornell University)|Jun 20, 2018

Robotics and Sensor-Based Localization参考文献 12被引用 5

一句话总结

本文提出一种基于度量的深度学习方法，通过改进的PointNet架构学习2D/3D图像配准中的最优对应权重。通过端到端训练，结合点到平面运动估计与配准误差计算的损失函数，该方法在单节椎体配准中实现了0.74 ± 0.26 mm的精度、94.3%的成功率以及13 mm的捕获范围，显著提升了基线方法的鲁棒性，且无需每对应点的真值标签。

ABSTRACT

Registration of pre-operative 3-D volumes to intra-operative 2-D X-ray images is important in minimally invasive medical procedures. Rigid registration can be performed by estimating a global rigid motion that optimizes the alignment of local correspondences. However, inaccurate correspondences challenge the registration performance. To minimize their influence, we estimate optimal weights for correspondences using PointNet. We train the network directly with the criterion to minimize the registration error. We propose an objective function which includes point-to-plane correspondence-based motion estimation and projection error computation, thereby enabling the learning of a weighting strategy that optimally fits the underlying formulation of the registration task in an end-to-end fashion. For single-vertebra registration, we achieve an accuracy of 0.74$\pm$0.26 mm and highly improved robustness. The success rate is increased from 79.3 % to 94.3 % and the capture range from 3 mm to 13 mm.

研究动机与目标

• 在存在异常对应点的情况下，提升2D/3D刚性图像配准的鲁棒性与准确性。
• 消除训练对应权重网络时对每对应点真值标注的需求。
• 直接以全局配准误差作为训练准则，优化对应权重策略。
• 实现与底层点到平面对应（PPC）配准公式兼容的对应权重端到端学习。
• 在图像内容不匹配和图像质量差的临床场景中，提升2D/3D配准的捕获范围与成功率。

提出的方法

• 该方法将局部对应点视为具有图像强度和几何特性等点特征的点云。
• 采用改进的PointNet架构，学习对应点之间的全局依赖关系，并预测每对应点的权重。
• 训练目标函数结合了点到平面运动估计与配准误差计算，支持对应权重策略的端到端优化。
• 网络通过最小化最终配准误差进行训练，采用可微分公式，支持通过运动估计与投影步骤的反向传播。
• 该方法在多分辨率框架下，通过mRPD、成功率与捕获范围评估，在单节椎体2D/3D配准任务上进行了验证。
• 该方法被集成到PPC配准流程中，并与基线方法（如PPC、PPC-R与PPC-L）进行消融实验与对比。

实验结果

研究问题

• RQ1 深度学习模型是否能在无需每对应点真值标注的情况下，学习到2D/3D配准的最优对应权重？
• RQ2 基于配准误差的目标函数进行端到端训练，是否相比启发式或迭代重加权方案能显著提升鲁棒性与准确性？
• RQ3 基于PointNet的架构是否能有效建模局部对应点之间的全局依赖关系，从而提升配准性能？
• RQ4 与基于正则化的运动估计相比，所学习的权重策略在收敛速度与鲁棒性方面表现如何？
• RQ5 在具有挑战性的临床场景中，该方法是否能在显著提升捕获范围与成功率的同时，保持高精度？

主要发现

• 所提方法在单节椎体配准中实现了0.74 ± 0.26 mm的平均配准精度，表现出高精度。
• 成功率从基线PPC的79.3%提升至94.3%，表明鲁棒性得到显著改善。
• 捕获范围从3 mm扩展至13 mm，支持从较大初始姿态误差下实现可靠配准。
• 在成功率与收敛效率方面，该方法优于PPC-R（正则化）与PPC-L（学习型）基线方法。
• PPC-L+实现了96.1%的成功率与19 mm的捕获范围，平均仅需7.6次迭代即可收敛，表现出更高的效率。
• 如图3c所示，模型能有效识别并加权一致的对应点，同时抑制异常值。