[论文解读] Quicksilver: Fast Predictive Image Registration - a Deep Learning Approach

Xiao Yang, Roland Kwitt+2 more|arXiv (Cornell University)|Mar 31, 2017

Medical Image Segmentation Techniques参考文献 45被引用 13

一句话总结

Quicksilver 提出了一种基于深度学习的方法，通过在 LDDMM 框架中预测初始动量，实现快速、精确的可变形图像配准。该方法在保持微分同胚性质的同时，相较于 GPU 优化的 LDDMM 实现了高达 100 倍的速度提升，并支持不确定性估计与校正网络，从而进一步提升性能。

ABSTRACT

This paper introduces Quicksilver, a fast deformable image registration method. Quicksilver registration for image-pairs works by patch-wise prediction of a deformation model based directly on image appearance. A deep encoder-decoder network is used as the prediction model. While the prediction strategy is general, we focus on predictions for the Large Deformation Diffeomorphic Metric Mapping (LDDMM) model. Specifically, we predict the momentum-parameterization of LDDMM, which facilitates a patch-wise prediction strategy while maintaining the theoretical properties of LDDMM, such as guaranteed diffeomorphic mappings for sufficiently strong regularization. We also provide a probabilistic version of our prediction network which can be sampled during the testing time to calculate uncertainties in the predicted deformations. Finally, we introduce a new correction network which greatly increases the prediction accuracy of an already existing prediction network. We show experimental results for uni-modal atlas-to-image as well as uni- / multi- modal image-to-image registrations. These experiments demonstrate that our method accurately predicts registrations obtained by numerical optimization, is very fast, achieves state-of-the-art registration results on four standard validation datasets, and can jointly learn an image similarity measure. Quicksilver is freely available as an open-source software.

研究动机与目标

• 开发一种快速、可微分的图像配准方法，在显著降低计算时间的同时保持 LDDMM 的理论保证。
• 实现实时或近实时的配准，适用于大规模神经影像学研究中的高分辨率数据。
• 直接从图像外观预测形变场，使用深度神经网络避免迭代优化。
• 为预测的形变提供不确定性量化，特别是在大形变或复杂形变区域。
• 引入一个校正网络，以极低的计算开销提升预测精度。

提出的方法

• 训练一个深度编码器-解码器卷积神经网络，从图像对中预测 LDDMM 模型的初始动量参数化。
• 采用分块预测以实现高效、可并行化的推理，通过感受野设计保留空间上下文信息。
• 通过预测保证在充分正则化下产生平滑、可逆变换的动量场，利用 LDDMM 的微分同胚性质。
• 引入网络的概率变体，通过推理阶段的蒙特卡洛采样估计形变预测的不确定性。
• 训练一个独立的校正网络以优化初始预测，仅使推理时间增加 2 倍，显著提升精度。
• 在训练过程中联合学习图像相似性度量，提升配准性能，无需外部损失函数。

实验结果

研究问题

• RQ1 深度学习模型能否在保持 LDDMM 框架理论微分同胚性质的前提下，以高精度和高速度预测形变场？
• RQ2 分块预测在保持配准精度的同时，对多 GPU 环境下的并行化与可扩展性有多大的有效性？
• RQ3 能否可靠地将不确定性估计集成到预测网络中，以识别大形变或图像不匹配区域？
• RQ4 校正网络在不显著增加计算成本的前提下，能在多大程度上提升初始预测的精度？
• RQ5 该方法能否在单模态与多模态图像配准任务中实现泛化，并达到 SOTA 性能？

主要发现

• Quicksilver 在四个标准验证数据集上实现了 SOTA 的配准精度，优于现有的基于学习和基于优化的方法。
• 与 GPU 加速的 LDDMM 相比，该方法将配准时间减少了两个数量级，3D 脑影像的推理速度可低于 1 秒。
• 校正网络仅使推理时间增加 2 倍，却显著提升了预测精度，使高精度结果在实用时间范围内成为可能。
• 概率网络生成的不确定性图可识别出大形变或外观变化区域，提示潜在的病理区域。
• 该框架支持多 GPU 推理，可在集群环境中实现进一步加速，运行时间在多 GPU 上高效扩展。
• 该方法联合学习图像相似性度量，无需手动设计或外部相似性度量。