[论文解读] GAN Based Medical Image Registration

Dwarikanath Mahapatra|arXiv (Cornell University)|May 7, 2018

Medical Image Segmentation Techniques参考文献 78被引用 15

一句话总结

本文提出了一种基于生成对抗网络（GAN）的端到端深度学习方法，用于快速、精确的多模态医学图像配准，避免了迭代优化。通过结合条件生成对抗网络（cGAN）与循环一致性及形变场可逆性约束，该模型在不到一秒内生成高保真度的配准图像和形变场，在视网膜和心脏MRI数据集上的速度、精度和对模态差异的鲁棒性方面均优于当前最先进方法。

ABSTRACT

Conventional approaches to image registration consist of time consuming iterative methods. Most current deep learning (DL) based registration methods extract deep features to use in an iterative setting. We propose an end-to-end DL method for registering multimodal images. Our approach uses generative adversarial networks (GANs) that eliminates the need for time consuming iterative methods, and directly generates the registered image with the deformation field. Appropriate constraints in the GAN cost function produce accurately registered images in less than a second. Experiments demonstrate their accuracy for multimodal retinal and cardiac MR image registration.

研究动机与目标

• 为解决迭代方法和传统基于深度学习的图像配准方法存在的速度慢、优化复杂等局限性。
• 通过生成对抗网络（GAN）实现多模态医学图像的端到端、非迭代配准。
• 通过引入VGG特征损失、SSIM和形变场可逆性等新型约束，提升配准的精度和真实性。
• 在不需为新图像对重新训练的前提下，实现对不同图像模态的鲁棒性能。
• 实现单次前向传播配准，任意图像均可作为参考图像或浮动图像，提升灵活性。

提出的方法

• 该方法采用条件生成对抗网络（cGAN）框架，其中生成器网络将浮动图像映射为与固定参考图像对齐的配准图像。
• 生成器通过组合归一化互信息（NMI）、结构相似性（SSIM）、VGG特征损失和对抗损失的复合损失函数进行训练，以确保结构和强度的一致性。
• 通过施加形变场可逆性作为关键约束，确保变换的真实性和平滑性，防止不合理的形变。
• 应用循环一致性以确保形变场可逆，提升配准输出的合理性。
• 网络在成对多模态图像的合成形变上进行无监督训练，从而实现对未见模态组合的泛化能力。
• 模型在单次前向传播中同时输出配准图像和形变场，无需迭代优化。

实验结果

研究问题

• RQ1 基于GAN的方法能否在无需迭代优化的情况下实现准确的端到端多模态医学图像配准？
• RQ2 与标准深度学习方法相比，形变场可逆性及VGG/SSIM损失等约束如何提升配准质量和真实性？
• RQ3 鉴于采用了条件GAN和循环GAN组件，该方法是否能在不重新训练的前提下泛化至新的图像模态？
• RQ4 在速度和精度方面，该基于GAN的方法与当前最先进深度学习方法及传统迭代配准技术相比表现如何？
• RQ5 在低对比度或复杂多模态医学图像中，该方法在保留解剖结构和降低配准误差方面表现如何？

主要发现

• 所提出的基于GAN的方法GAN_Reg在视网膜眼底和FA图像配准中达到0.946的Dice分数，显著优于DIRNet（0.911）和Elastix（0.874）。
• GAN_Reg将形变误差（Err_Def）降低至5.7，远低于Elastix的12.1和GAN_Reg-nCyc的9.1，证明了形变一致性约束的有效性。
• 在视网膜图像上，GAN_Reg的平均绝对差（MAD）为3.1，低于DIRNet（5.0）、Elastix（8.7）和GAN_Reg-nCyc（7.2），表明其空间精度更优。
• 在心脏MRI上，GAN_Reg的Dice分数为0.85，HD_95为3.9，优于DIRNet（0.80，5.03）和Elastix（0.77，5.21），且推理时间仅0.8秒。
• 该模型每对图像的配准时间少于1秒，显著快于Elastix（15.1秒），与其它深度学习基线相当，同时保持了更优的精度。
• 该方法在未重新训练的情况下，对单模态动态心脏MRI也表现出良好泛化能力，显示出对不同解剖结构和图像特征的鲁棒性。