[论文解读] Deep Learning in Medical Image Registration: Magic or Mirage?

Rohit Jena, Deeksha Sethi+2 more|arXiv (Cornell University)|Aug 11, 2024

Radiomics and Machine Learning in Medical ImagingMedicine被引用 3

一句话总结

本文研究了深度学习（DLIR）方法是否真正优于基于经典优化的医学影像配准方法。研究发现，经典方法在不同数据集间泛化能力更强，这是由于像素级强度-标签互信息与性能之间存在强相关性；而尽管DLIR方法在训练数据上表现高保真，但在领域分布发生变化时却无法泛化，因此除非有大规模标注数据集用于微调，否则经典方法更为可靠。

ABSTRACT

Classical optimization and learning-based methods are the two reigning paradigms in deformable image registration. While optimization-based methods boast generalizability across modalities and robust performance, learning-based methods promise peak performance, incorporating weak supervision and amortized optimization. However, the exact conditions for either paradigm to perform well over the other are shrouded and not explicitly outlined in the existing literature. In this paper, we make an explicit correspondence between the mutual information of the distribution of per-pixel intensity and labels, and the performance of classical registration methods. This strong correlation hints to the fact that architectural designs in learning-based methods is unlikely to affect this correlation, and therefore, the performance of learning-based methods. This hypothesis is thoroughly validated with state-of-the-art classical and learning-based methods. However, learning-based methods with weak supervision can perform high-fidelity intensity and label registration, which is not possible with classical methods. Next, we show that this high-fidelity feature learning does not translate to invariance to domain shift, and learning-based methods are sensitive to such changes in the data distribution. Finally, we propose a general recipe to choose the best paradigm for a given registration problem, based on these observations.

研究动机与目标

• 解决关于基于深度学习与基于经典优化的配准方法在可变形医学影像配准中孰优孰劣的长期争议。
• 识别每种范式在泛化能力和对领域分布变化的鲁棒性方面表现优异的条件。
• 探究在深度学习中使用标签匹配是否能提升跨不同神经影像数据集的性能迁移能力。
• 基于数据可用性和分布特性，建立一个选择最优配准范式的系统性框架。

提出的方法

• 作者建立了像素级强度与标签图之间互信息与经典配准方法性能之间的强相关性，并以此作为判断方法适用性的关键诊断指标。
• 在四个具有不同标注协议和扫描参数的T1加权脑影像数据集上，评估了最先进的经典与基于深度学习的配准方法（如ANTs、FireANTs、SynthMorph、TransMorph）。
• 性能通过标注解剖区域的平均Dice分数进行衡量，模型在OASIS上训练并在CUMC12、LPBA40、MGH10和IBSR18数据集上测试，以评估领域分布变化下的鲁棒性。
• 本研究比较了监督式与无监督式DLIR变体，特别评估了训练过程中标签匹配损失对泛化性能的影响。
• 通过系统性消融实验，分离了网络架构设计与损失函数的影响，结果表明性能主要受互信息约束，而非网络架构。
• 基于数据分布、标注可用性及所需鲁棒性，提出了一套选择经典方法与深度学习方法的通用策略。

实验结果

研究问题

• RQ1 像素级强度-标签互信息与经典配准性能之间存在何种关系？
• RQ2 在训练过程中引入标签图是否能提升基于深度学习的配准方法在不同数据集间的泛化能力？
• RQ3 在多个神经影像数据集中，经典方法与基于深度学习的方法在性能与领域分布变化下的鲁棒性如何比较？
• RQ4 在何种条件下，基于深度学习的配准方法优于基于经典优化的配准方法？

主要发现

• 经典配准方法（如ANTs、FireANTs）在四个独立的T1脑影像数据集上始终优于基于深度学习的方法，即使后者使用了标签匹配训练。
• 经典方法的性能与像素级强度图与标签图之间的互信息强相关，表明该度量是预测配准成功的关键指标。
• 尽管在OASIS数据集上表现优异，DLIR方法（如SynthMorph和TransMorph）在其他数据集上仍无法泛化，且标签匹配损失未带来显著改善。
• 在某一数据集上训练的DLIR方法即使能访问其他数据集的标签图，也无法在这些数据集上取得更好性能，表明其领域迁移能力差。
• 经典方法由于对模态、分辨率和预处理协议无感，无需微调即可在多样化数据集中保持最先进性能。
• 本研究结论认为，经典方法更适合通用场景，而DLIR仅在具备大规模、特定领域标注数据集用于微调时才应使用。