[论文解读] Fast Predictive Multimodal Image Registration

Xiao Yang, Roland Kwitt+2 more|arXiv (Cornell University)|Mar 31, 2017

Fetal and Pediatric Neurological Disorders参考文献 25被引用 5

一句话总结

该论文提出一种深度编码器-解码器网络，联合学习多模态图像相似性度量并预测大变形微分度量映射（LDDMM）的初始动量，实现快速、微分同胚且一致的多模态图像配准。该方法在保持高精度的同时，相比GPU加速的LDDMM优化实现了36倍的速度提升，并通过贝叶斯扩展提供不确定性估计。

ABSTRACT

We introduce a deep encoder-decoder architecture for image deformation prediction from multimodal images. Specifically, we design an image-patch-based deep network that jointly (i) learns an image similarity measure and (ii) the relationship between image patches and deformation parameters. While our method can be applied to general image registration formulations, we focus on the Large Deformation Diffeomorphic Metric Mapping (LDDMM) registration model. By predicting the initial momentum of the shooting formulation of LDDMM, we preserve its mathematical properties and drastically reduce the computation time, compared to optimization-based approaches. Furthermore, we create a Bayesian probabilistic version of the network that allows evaluation of registration uncertainty via sampling of the network at test time. We evaluate our method on a 3D brain MRI dataset using both T1- and T2-weighted images. Our experiments show that our method generates accurate predictions and that learning the similarity measure leads to more consistent registrations than relying on generic multimodal image similarity measures, such as mutual information. Our approach is an order of magnitude faster than optimization-based LDDMM.

研究动机与目标

• 解决准确且高效的多模态图像配准挑战，特别是针对T1-和T2加权对比度的3D脑部MRI。
• 克服手工设计的相似性度量（如互信息）可能导致的不一致或次优配准问题。
• 开发一种深度学习框架，联合学习图像相似性与形变预测，避免依赖特征工程或图像合成。
• 在保持LDDMM的数学特性（如微分同胚性）的同时，显著提升基于优化的LDDMM配准速度。
• 通过网络的贝叶斯概率扩展，为预测的形变场提供不确定性估计。

提出的方法

• 设计一种基于图像块的深度编码器-解码器网络，处理15×15×15的3D图像块，以预测LDDMM射击公式的初始动量。
• 端到端训练网络，联合优化多模态图像相似性和形变参数预测，无需显式特征选择。
• 采用滑动窗口策略，步长为14，生成重叠图像块，用于训练和推理，实现局部上下文建模。
• 通过蒙特卡洛Dropout实现网络的贝叶斯变体，在测试时采样多个预测结果，以估计形变场的不确定性。
• 利用LDDMM的数学结构，确保预测的形变是微分同胚的，保持拓扑一致性。
• 在T1w-T1w图像对上进行训练以建立性能上限，在T1w-T2w对上评估多模态配准性能。

实验结果

研究问题

• RQ1 深度学习模型能否以高精度和高速度联合学习多模态图像相似性度量并预测形变参数？
• RQ2 从数据中学习相似性度量是否相比使用通用度量（如互信息）能提升配准的一致性？
• RQ3 所提方法在多大程度上能减少计算时间，同时保持LDDMM的微分同胚特性？
• RQ4 当仅用有限数据（如仅10对训练图像）进行训练时，网络的泛化能力如何？
• RQ5 网络的贝叶斯扩展能否可靠地量化多模态配准预测中的不确定性？

主要发现

• 所提方法相比GPU加速的LDDMM优化实现了36倍的速度提升，每对3D图像的平均推理时间为24.46秒。
• T1w-T2w网络的形变误差仅略高于T1w-T1w性能上限网络，表明具有高度的配准一致性。
• 与最接近的先前方法[20]相比，所有百分位数的形变误差降低了2.1%至7.3%，表明泛化能力更强且过拟合更少。
• 即使仅用10对图像（90个训练样本）进行训练，网络仍保持强劲性能，显示出对有限数据的鲁棒性。
• 贝叶斯扩展成功识别出高不确定性区域——尤其是在脑室周围——这些区域的多模态外观差异最为显著。
• 使用互信息的NiftyReg在T1w-T1w与T1w-T2w配准之间产生显著不一致的结果，凸显了所学习相似性度量的优越性。