[论文解读] CycleMorph: Cycle Consistent Unsupervised Deformable Image Registration

Boah Kim, Dong Hwan Kim+4 more|arXiv (Cornell University)|Aug 13, 2020

Medical Image Segmentation Techniques参考文献 35被引用 13

一句话总结

CycleMorph 提出了一种循环一致性、无监督的深度学习框架，用于可变形图像配准，通过训练两个基于 U-Net 的网络生成前向和反向形变场，实现拓扑结构的保持。通过强制使源图像经前向形变场变形后，再经反向形变场恢复，能接近原始图像，该方法减少了折叠现象并提高了精度，在 2D 和 3D 医学影像任务（包括肝脏 CT 和脑部 MRI）中实现了亚分钟级的配准时间，性能优越。

ABSTRACT

Image registration is a fundamental task in medical image analysis. Recently, deep learning based image registration methods have been extensively investigated due to their excellent performance despite the ultra-fast computational time. However, the existing deep learning methods still have limitation in the preservation of original topology during the deformation with registration vector fields. To address this issues, here we present a cycle-consistent deformable image registration. The cycle consistency enhances image registration performance by providing an implicit regularization to preserve topology during the deformation. The proposed method is so flexible that can be applied for both 2D and 3D registration problems for various applications, and can be easily extended to multi-scale implementation to deal with the memory issues in large volume registration. Experimental results on various datasets from medical and non-medical applications demonstrate that the proposed method provides effective and accurate registration on diverse image pairs within a few seconds. Qualitative and quantitative evaluations on deformation fields also verify the effectiveness of the cycle consistency of the proposed method.

研究动机与目标

• 为解决现有基于深度学习的图像配准方法在形变过程中无法保持解剖拓扑结构的局限性。
• 开发一种无需真实形变场监督的拓扑保持配准方法。
• 通过循环一致性作为隐式正则化手段，提升可变形图像配准的精度与鲁棒性。
• 通过多尺度实现，实现高效的大体积 3D 配准。

提出的方法

• 该方法使用两个基于 U-Net 的卷积神经网络 $G_X$ 和 $G_Y$，从图像对中学习前向和反向形变向量场。
• 通过训练网络使源图像经 $G_X$ 变形后，再经 $G_Y$ 反向变形，能够重建为原始图像，从而实现循环一致性。
• 损失函数结合了图像重建损失、循环一致性损失 $\mathcal{L}_{cycle}$ 和身份损失 $\mathcal{L}_{identity}$，以稳定训练并提升重建保真度。
• 采用多尺度策略：在下采样后的粗略体积上进行粗配准以处理大形变，随后进行局部精细化以提升精度。
• 该框架为端到端可训练的无监督方法，仅需图像对，无需真实形变场监督。
• 该方法具有灵活性，适用于多种医学和非医学成像应用中的 2D 和 3D 配准任务。

实验结果

研究问题

• RQ1 在图像空间中引入循环一致性是否能改善无监督可变形图像配准中的拓扑保持？
• RQ2 与反向一致性约束相比，循环一致性在减少折叠现象和提升配准精度方面表现如何？
• RQ3 尽管存在 GPU 显存限制，该方法是否仍能在大体积 3D 数据上实现高精度配准？
• RQ4 多尺度实现是否能有效平衡计算效率与配准精度？

主要发现

• 在多尺度 3D 腹部 CECT 配准中，CycleMorph 实现了 4 秒的全局配准时间与 41 秒的总运行时间，显著快于 Elastix 的 20 分钟运行时间。
• 在肝脏 CT 数据上，CycleMorph 将非正定雅可比行列式值的比例降低至 0.02%，表明具有强大的拓扑保持能力，折叠现象极少。
• 与 MS-DIRNet 相比，该方法在肿瘤大小差异方面表现更优，平均差异最小，证实了其更高的配准精度。
• 消融实验表明，若不使用循环损失，非正定雅可比行列式值比例上升至 0.18%，证实其在防止折叠和保持拓扑结构方面起着关键作用。
• 该方法在单张 GPU 上实现了亚分钟级的推理时间，展示了其在临床部署中的高计算效率。
• 定性和定量评估均表明，CycleMorph 在包括 2D 人脸、3D 脑部 MR 和多期相肝脏 CECT 在内的多种图像对中，均能提供精确且拓扑保持的形变。