[论文解读] Adversarial Image Registration with Application for MR and TRUS Image Fusion

Pingkun Yan, Sheng Xu+2 more|arXiv (Cornell University)|Apr 30, 2018

Advanced Image Processing Techniques参考文献 11被引用 9

一句话总结

该论文提出了一种对抗性图像配准（AIR-net）框架，通过生成对抗网络（GAN）在前列腺介入治疗的MR-TRUS融合中联合学习变换估计与配准质量评估。通过训练生成器预测配准变换，同时训练判别器评估配准质量，该方法将平均靶点配准误差（TRE）从初始的6.11mm显著降低至3.48mm，且判别器得分与配准精度高度相关，可为临床应用提供实时质量反馈。

ABSTRACT

Robust and accurate alignment of multimodal medical images is a very challenging task, which however is very useful for many clinical applications. For example, magnetic resonance (MR) and transrectal ultrasound (TRUS) image registration is a critical component in MR-TRUS fusion guided prostate interventions. However, due to the huge difference between the image appearances and the large variation in image correspondence, MR-TRUS image registration is a very challenging problem. In this paper, an adversarial image registration (AIR) framework is proposed. By training two deep neural networks simultaneously, one being a generator and the other being a discriminator, we can obtain not only a network for image registration, but also a metric network which can help evaluate the quality of image registration. The developed AIR-net is then evaluated using clinical datasets acquired through image-fusion guided prostate biopsy procedures and promising results are demonstrated.

研究动机与目标

• 解决前列腺介入治疗中MR-TRUS融合的多模态图像配准在鲁棒性与准确性方面的挑战。
• 开发一种基于深度学习的配准方法，同时估计变换并评估配准质量。
• 克服传统相似性度量方法的局限性以及现有深度学习配准方法缺乏反馈的问题。
• 实现实时、可靠的配准系统，并内置质量评估功能，用于医学图像引导的介入治疗。
• 证明对抗性训练在多模态医学图像配准中的可行性与有效性。

提出的方法

• AIR-net框架使用生成器网络（G）直接从输入的MR与TRUS图像对中预测变换参数（旋转与平移）。
• 训练一个判别器网络（D）以区分使用估计变换（T_est）配准的图像对与使用真实变换（T_gt）配准的图像对。
• 生成器与判别器通过对抗方式联合训练，其中生成器不断优化以生成能欺骗判别器、使其将生成图像对误判为真实（即真实变换配准）的变换。
• 使用估计变换对图像进行重采样，生成用于输入判别器的重采样移动图像。
• 通过将3D体积分解为多通道2D图像，使用2D卷积神经网络（CNN）处理，从而在有限的GPU内存下实现更深的网络结构。
• 该框架在临床MR-TRUS数据集上进行端到端训练，性能通过靶点配准误差（TRE）与判别器得分（D-Score）进行评估。

实验结果

研究问题

• RQ1 基于GAN的框架能否在多模态医学图像配准中联合学习准确的变换估计与可靠的配准质量评估？
• RQ2 判别器得分与实际配准精度（以靶点配准误差TRE衡量）的相关性如何？
• RQ3 与基线方法相比，所提出的对抗性训练策略是否能在无显式质量评估真值监督的情况下提升配准性能？
• RQ4 生成器与判别器的端到端联合训练是否能提升临床环境中配准的速度与鲁棒性？
• RQ5 该方法能否在MR与TRUS图像间存在显著灰度与分辨率差异的真实临床数据上实现良好泛化？

主要发现

• 所提出的AIR-net将平均靶点配准误差（TRE）从初始随机配准的6.11mm降低至3.48mm，且差异具有统计学显著性（p < 0.01）。
• 判别器得分（D-Score）与配准质量呈强相关性，随着TRE降低而上升，表明其具备可靠的配准质量评估能力。
• 该方法推理速度快，单张GPU下每对图像的配准估计时间小于100ms。
• 判别器网络能有效区分高质量与低质量的配准结果，证明其作为实时质量反馈机制的实用性。
• 尽管存在维度降低，使用2D CNN处理3D体积仍使网络架构更深，性能优于浅层3D CNN。
• 生成器与判别器的端到端联合训练使系统具备更强的鲁棒性，并能良好泛化至未见的临床数据。