[论文解读] Semantic similarity metrics for learned image registration

Steffen Czolbe, Oswin Krause+1 more|arXiv (Cornell University)|Apr 20, 2021

Medical Image Segmentation Techniques参考文献 34被引用 5

一句话总结

本文提出 DeepSim，一种基于数据驱动的语义相似性度量方法，用于改进图像配准的准确性。该方法利用自编码器（无监督）或分割模型（半监督）学习的深度特征，提升配准性能。在多个生物医学数据集上，DeepSim 在噪声环境下显著优于传统度量方法（如 NCC 和 MSE），通过学习对图像伪影的不变性，生成更平滑、更符合解剖结构的变换。

ABSTRACT

We propose a semantic similarity metric for image registration. Existing metrics like Euclidean Distance or Normalized Cross-Correlation focus on aligning intensity values, giving difficulties with low intensity contrast or noise. Our approach learns dataset-specific features that drive the optimization of a learning-based registration model. We train both an unsupervised approach using an auto-encoder, and a semi-supervised approach using supplemental segmentation data to extract semantic features for image registration. Comparing to existing methods across multiple image modalities and applications, we achieve consistently high registration accuracy. A learned invariance to noise gives smoother transformations on low-quality images.

研究动机与目标

• 解决传统基于像素的相似性度量方法（如 MSE、NCC）在图像配准中的局限性，这些方法对噪声和低对比度敏感。
• 通过学习反映解剖和结构对应关系的数据集特定语义特征，提升配准精度。
• 开发一种通用的相似性度量方法，减少在不同图像模态中对传统度量方法的手动超参数调优依赖。
• 通过深度特征提取学习对噪声的不变性，实现在低质量图像（如低剂量 CT 或超声）上的鲁棒配准。
• 证明来自无监督自编码器或半监督分割模型的语义特征，可在无需额外标注的情况下，超越或匹配监督度量方法的性能。

提出的方法

• 在灰度图像上训练自编码器，以学习无监督语义特征，用于相似性度量（DeepSim-ae）。
• 使用在标注标签上训练的分割模型提取半监督语义特征（DeepSim-seg），以捕捉解剖相关性。
• 基于变换后的移动图像与固定图像在特征层面的相关性构建相似性度量，替代传统的基于强度的度量方法。
• 将 DeepSim 度量集成到基于深度学习的配准框架中，通过梯度下降优化变换，使用学习到的特征相似性作为损失。
• 应用扩散正则化器以确保变形场平滑且符合物理可实现性，所有方法的超参数调优保持一致。
• 根据设置，端到端联合训练特征提取器与配准模型，或独立训练，以对齐图像对之间的特征。

实验结果

研究问题

• RQ1 基于深度特征的语义相似性度量是否能相比标准的基于像素的度量方法（如 MSE 和 NCC）提升配准精度？
• RQ2 在特征学习过程中引入解剖分割标签是否能带来比无监督特征学习更好的配准性能？
• RQ3 在低质量或噪声图像中，传统度量方法因强度伪影而失效时，所提出的 DeepSim 度量表现如何？
• RQ4 所提出的基于学习特征的度量方法是否能跨不同图像模态和解剖结构泛化，而无需进行模态特定的调优？
• RQ5 DeepSim 的性能增益是否在包括 MRI、CT 和显微成像在内的多样化生物医学数据集中均保持稳健？

主要发现

• 无监督变体 DeepSim-ae 在三个数据集中的两个上实现了与监督度量方法（如 NCC_sup）相当或更优的配准精度，表明强性能无需分割标签。
• 半监督变体 DeepSim-seg 在 Brain-MRI 数据集的解剖区域 Dice 重叠指标上优于所有基线方法，且两种方法在突出区域的中位 Dice 分数均高于所有基线。
• 在噪声图像上，使用 DeepSim 训练的模型生成的变换场显著更平滑，而 NCC 和 NCC_sup 由于对伪影敏感，产生了过度细节化且不规则的形变。
• 定性分析显示，DeepSim 中学习到的特征对噪声具有不变性，从而在不增加正则化强度的情况下实现准确配准。
• 该方法减少了对多种传统度量方法进行经验性测试的需求，因为 DeepSim 能自动学习与特定数据集相关的相关特征。
• DeepSim 具备跨模态泛化能力，可应用于算法化配准或其他图像回归任务，而不仅限于基于深度学习的配准框架。