[论文解读] 3D Convolutional Neural Networks Image Registration Based on Efficient Supervised Learning from Artificial Deformations

Hessam Sokooti, Bob D. de Vos+6 more|arXiv (Cornell University)|Aug 27, 2019

Medical Image Segmentation Techniques参考文献 26被引用 40

一句话总结

这篇论文介绍 RegNet，一种基于监督的三维 CNN 的非刚性图像配准方法，利用人工位移场 DVF 进行训练，在胸部 CT 数据集上评估，提供 TRE 约为 2–3 mm，并在多阶段设置中实现快速推断。

ABSTRACT

We propose a supervised nonrigid image registration method, trained using artificial displacement vector fields (DVF), for which we propose and compare three network architectures. The artificial DVFs allow training in a fully supervised and voxel-wise dense manner, but without the cost usually associated with the creation of densely labeled data. We propose a scheme to artificially generate DVFs, and for chest CT registration augment these with simulated respiratory motion. The proposed architectures are embedded in a multi-stage approach, to increase the capture range of the proposed networks in order to more accurately predict larger displacements. The proposed method, RegNet, is evaluated on multiple databases of chest CT scans and achieved a target registration error of 2.32 $\pm$ 5.33 mm and 1.86 $\pm$ 2.12 mm on SPREAD and DIR-Lab-4DCT studies, respectively. The average inference time of RegNet with two stages is about 2.2 s.

研究动机与目标

• 通过使用人工生成的 DVF 进行监督来促进并实现鲁棒的非刚性图像配准，而无需人工体素级地面真值。
• 开发一个多阶段的配准框架，以扩展捕获范围并更好地对齐大位移。
• 探索并比较三种网络架构（基于 U-Net、Multi-View、以及 U-Net Advanced）在高效预测三维 DVF 的性能。
• 在多个胸部 CT 数据库（SPREAD、DIR-Lab-4DCT、DIR-Lab-COPDgene）上评估 RegNet，并与传统基于 Elastix 的配准进行比较。
• 展示适用于实际使用的可行推理时间。

提出的方法

• 生成三类人工 DVF（单一频率、混合频率、呼吸运动）以及单位变形，以创建密集的监督训练目标。
• 用模拟的呼吸运动和强度模型对人工 DVFs 进行增强，以产生真实的训练对。
• 在多阶段管线中评估三种 RegNet 架构（U-Net、Multi-View、U-Net Advanced），从 1/4、1/2 到全分辨率，，以捕获大位移。
• 使用预测 DVF 与地面真值 DVF 之间的 Huber 损失加上弯曲能量正则化来促进平滑性。
• 使用相对于地标的 TRE 和雅可比行列式统计来监测局部体积变化。

实验结果

研究问题

• RQ1 密集监督的人工 DVF 训练是否能够在没有人工体素级地面真值的情况下实现准确的非刚性配准？
• RQ2 多阶段配准流程是否提高了胸部 CT 配准中对大位移的捕获范围和精度？
• RQ3 哪一种 RegNet 架构（U-Net、Multi-View、U-Net Advanced）在三维 DVF 预测的准确性、内存和推理时间之间提供最佳权衡？
• RQ4 RegNet 与传统基于 elastix 的配准以及在 SPREAD、DIR-Lab-4DCT、DIR-Lab-COPDgene 数据集上的其他基于 CNN 的方法相比有何表现？
• RQ5 在包含吸气-呼气数据集的呼吸运动增强对配准精度有何影响？

主要发现

• RegNet 在 SPREAD 上使用两阶段配置（及相关变体）实现 2.32 ± 5.33 mm 的目标配准误差，在 DIR-Lab-4DCT 上实现 1.86 ± 2.12 mm。
• 三种架构比较表明，多阶段、基于补丁的设计以及 U-Net 风格网络可以有效结合，以提高捕获范围和准确性。
• 多阶段网络在所评估的数据集上始终优于单阶段对比模型。
• 推理时间令人满意，在报道的设定下，两阶段 RegNet 每个受试者约 2.2 秒。
• 用人工 DVF（S、M、R 类别）加上 identity 进行训练，在若干情况下产生的 TRE 与传统基线的 B-spline elastix 注册相比具有竞争力。