[论文解读] Learning image registration without images

Malte Hoffmann, Benjamin Billot+3 more|arXiv (Cornell University)|Apr 21, 2020

Medical Image Segmentation Techniques参考文献 46被引用 5

一句话总结

本文提出了一种对比度无关的图像配准方法，通过使用生成模型合成多样的标签图和图像，在无需真实图像数据的情况下训练深度网络。该方法使单一模型能够跨所有对比度（包括模态内与模态间）实现配准，且无需微调即可达到最先进精度，即使在仅使用非解剖学形状进行训练的情况下亦然。

ABSTRACT

We introduce a learning strategy for contrast-invariant image registration without requiring imaging data. While classical registration methods accurately estimate the spatial correspondence between images, they solve a costly optimization problem for every image pair. Learning-based techniques are fast at test time, but can only register images with image contrast and geometric content that are similar to those available during training. We focus on removing this image-data dependency of learning methods. Our approach leverages a generative model for diverse label maps and images that exposes networks to a wide range of variability during training, forcing them to learn features invariant to image type (contrast). This strategy results in powerful networks trained to generalize to a broad array of real input images. We present extensive experiments, with a focus on 3D neuroimaging, showing that this strategy enables robust registration of arbitrary image contrasts without the need to retrain for new modalities. We demonstrate registration accuracy that most often surpasses the state of the art both within and across modalities, using a single model. Critically, we show that input labels from which we synthesize images need not be of actual anatomy: training on randomly generated geometric shapes also results in competitive registration performance, albeit slightly less accurate, while alleviating the dependency on real data of any kind. Our code is available at: this http URL

研究动机与目标

• 消除基于学习的图像配准在训练过程中对真实图像数据的依赖。
• 使单一深度学习模型能够在不重新训练的情况下配准多种对比度的图像。
• 探究在非解剖学几何形状上进行训练是否仍能获得具有竞争力的配准性能。
• 开发一种在保持高精度的同时可跨模态泛化的配准方法。
• 通过用快速推理替代迭代优化，降低配准的计算成本。

提出的方法

• 生成模型合成多样化的标签图及其对应的图像，使网络能够暴露于极端多变的对比度与几何形态中。
• 网络仅使用合成数据进行训练，以预测图像对之间的空间变换，而不依赖真实图像。
• 该方法利用循环一致性生成模型，确保训练过程中图像与标签图分布的真实性。
• 通过接触广泛分布的合成数据，网络学习到对图像对比度不变的特征。
• 训练完全在合成数据上进行，包括非解剖学形状，以使模型脱离真实解剖先验。
• 推理阶段速度快且具备泛化能力，支持对新图像对比度的零样本配准。

实验结果

研究问题

• RQ1 深度网络是否能在训练过程中完全不接触真实图像的情况下，学习到跨所有对比度的图像配准能力？
• RQ2 在非解剖学几何形状上进行训练是否仍能获得具有竞争力的配准性能？
• RQ3 单一模型是否能在不重新训练的情况下泛化至模态内与模态间配准？
• RQ4 在真实三维神经影像数据上，基于合成数据训练的模型性能与最先进方法相比如何？
• RQ5 在不依赖真实图像数据的前提下，对比度无关性在多大程度上可以实现？

主要发现

• 所提出的方法在三维神经影像的模态内与模态间图像对上均实现了最先进水平的配准精度。
• 该模型无需重新训练即可泛化至任意图像对比度，展现出对未见模态的鲁棒性。
• 在随机生成的几何形状上进行训练可获得具有竞争力的性能，尽管略低于在解剖数据上训练的精度。
• 该方法在速度上超越了基于经典优化的配准方法，同时保持或超过其精度。
• 由于接触了多样化合成数据，网络学习到了对比度无关的特征，从而实现零样本泛化。
• 该方法消除了对模态特定微调的需求，显著降低了配准流程的数据与计算负担。