[论文解读] Real-time 2D/3D Registration via CNN Regression

Shun Miao, Z. Jane Wang+1 more|arXiv (Cornell University)|Jul 27, 2015

Medical Image Segmentation Techniques参考文献 21被引用 6

一句话总结

本文提出一种基于卷积神经网络（CNN）回归的实时2D/3D配准方法，可直接从2D X射线图像和3D数字化重建放射影像（DRR）中估计变换参数。通过以分层、局部化的方式在图像外观特征上训练CNN回归器，该方法实现了亚毫米级精度，平均运行时间为0.08秒——显著快于基于强度的优化方法——同时保持与最先进方法相当的精度。

ABSTRACT

In this paper, we present a Convolutional Neural Network (CNN) regression approach for real-time 2-D/3-D registration. Different from optimization-based methods, which iteratively optimize the transformation parameters over a scalar-valued metric function representing the quality of the registration, the proposed method exploits the information embedded in the appearances of the Digitally Reconstructed Radiograph and X-ray images, and employs CNN regressors to directly estimate the transformation parameters. The CNN regressors are trained for local zones and applied in a hierarchical manner to break down the complex regression task into simpler sub-tasks that can be learned separately. Our experiment results demonstrate the advantage of the proposed method in computational efficiency with negligible degradation of registration accuracy compared to intensity-based methods.

研究动机与目标

• 为解决图像引导介入中实时2D/3D配准的挑战，现有基于优化的方法因速度过慢而难以用于临床。
• 克服基于强度的方法的局限性，后者需要重复生成DRR，计算成本高昂。
• 通过利用深度学习直接回归变换参数，减少对特征检测的依赖，从而避免基于特征方法引入的误差。
• 通过训练CNN将图像残差映射到变换参数校正量，实现实时、高精度的配准。
• 证明深度学习可实现与基于强度的方法相当的精度，同时显著提升计算效率。

提出的方法

• 该方法将2D/3D配准建模为回归问题，其中CNN回归器预测初始参数与真实参数之间的差异。
• 变换参数被参数化为6个分量：3个平面内（平移与旋转）和3个平面外（平移与两个旋转），以支持分层学习。
• CNN在DRR与X射线图像对的局部图像块上进行训练，将复杂的回归任务分解为更简单的子任务，以提升可学习性。
• 网络采用端到端训练，损失函数旨在最小化预测值与真实参数差异之间的误差，且限定在预定义的捕获范围内。
• 采用三阶段分层推理策略，从粗到细的尺度逐步优化变换估计。
• 通过Caffe实现GPU加速推理，确保一致且低延迟的推理时间，适用于实时应用。

实验结果

研究问题

• RQ1 基于深度学习的回归方法能否实现与基于强度的优化方法相当精度的实时2D/3D配准？
• RQ2 与基于相似性度量（如MI和GC）的传统基于强度的配准相比，CNN方法在计算效率方面表现如何？
• RQ3 在局部图像块上进行分层CNN回归，是否能在不依赖迭代优化的情况下提升2D/3D配准的精度与鲁棒性？
• RQ4 用直接的CNN回归替代迭代相似性优化后，配准精度与速度之间的权衡如何？
• RQ5 在不同初始变换状态，尤其是传统方法捕获范围内的条件下，该方法是否能保持高精度？

主要发现

• 所提出的CNN方法在测试数据集上的成功率为92.3%，与最先进方法MI+GC（92.7%）相当。
• 该方法在投影方向的平均靶点配准误差（mTREproj）为0.282 mm，略高于MI+GC的0.260 mm，但仍处于临床可接受范围内。
• 每次配准的平均运行时间为0.08秒，显著快于MI（1.66秒）、GC（3.91秒）和MI+GC（4.71秒）。
• 运行时间的标准差几乎为零（0.00秒），表明性能稳定，可实现实时处理，与迭代次数不稳定的基于强度的方法形成鲜明对比。
• 在GPU加速下，该方法实现了亚毫秒级推理速度，适用于实时图像引导介入。
• 结果表明，CNN回归能够有效利用图像外观特征，避免昂贵的DRR生成与迭代优化，实现实时配准且精度损失极小。