[论文解读] A survey on deep learning in medical image registration: new technologies, uncertainty, evaluation metrics, and beyond

Junyu Chen, Yihao Liu+6 more|arXiv (Cornell University)|Jul 28, 2023

Medical Image Segmentation Techniques被引用 7

一句话总结

本综述对深度学习在医学图像配准中的应用进行了全面且最新的回顾，涵盖网络架构、损失函数、不确定性估计和评估指标等方面的最新进展。重点介绍了可微相似性度量、微分同胚正则化和不确定性量化等新技术，对性能评估和临床适用性进行了批判性分析。

ABSTRACT

Deep learning technologies have dramatically reshaped the field of medical image registration over the past decade. The initial developments, such as regression-based and U-Net-based networks, established the foundation for deep learning in image registration. Subsequent progress has been made in various aspects of deep learning-based registration, including similarity measures, deformation regularizations, network architectures, and uncertainty estimation. These advancements have not only enriched the field of image registration but have also facilitated its application in a wide range of tasks, including atlas construction, multi-atlas segmentation, motion estimation, and 2D-3D registration. In this paper, we present a comprehensive overview of the most recent advancements in deep learning-based image registration. We begin with a concise introduction to the core concepts of deep learning-based image registration. Then, we delve into innovative network architectures, loss functions specific to registration, and methods for estimating registration uncertainty. Additionally, this paper explores appropriate evaluation metrics for assessing the performance of deep learning models in registration tasks. Finally, we highlight the practical applications of these novel techniques in medical imaging and discuss the future prospects of deep learning-based image registration.

研究动机与目标

• 提供一份及时且全面的综述，总结基于深度学习的医学图像配准最新进展，弥补现有综述中的空白。
• 分析针对图像配准任务的新型网络架构、损失函数和正则化技术的创新。
• 形式化并深入研究深度学习模型中配准不确定性估计，这是一个关键但研究不足的领域。
• 评估并比较现代指标在评估配准精度、规则性和鲁棒性方面的表现。
• 突出展示在临床任务中的实际应用，如图谱构建、多图谱分割和运动追踪。

提出的方法

• 系统性地调研了2018至2023年间来自顶级医学成像与人工智能会议及期刊的超过250篇近期论文。
• 按架构类型对基于深度学习的配准方法进行分类与分析：用于非刚性配准的编码器-解码器结构（如U-Net、基于ResNet的网络）和用于刚性/仿射配准的仅编码器结构。
• 回顾了新型损失函数，包括可微相似性度量（如归一化互相关、局部互相关）和用于强制平滑性与微分同胚性的正则化损失。
• 探索了蒙特卡洛dropout、贝叶斯神经网络和集成方法等不确定性估计技术，以量化预测置信度。
• 使用目标配准误差（TRE）、Dice分数以及雅可比行列式等指标评估配准性能，以衡量规则性。
• 讨论了4D运动追踪中的新兴挑战，包括时间一致性、计算效率以及处理长度可变的图像序列。

实验结果

研究问题

• RQ1 与基于经典优化的方法相比，近期的深度学习架构在提升医学图像配准的精度和效率方面有何改进？
• RQ2 在基于深度学习的配准中，哪些损失函数和正则化策略最有效，能确保物理上合理且平滑的形变场？
• RQ3 如何正式定义并量化基于深度学习的图像配准中的不确定性，以支持临床决策？
• RQ4 哪些评估指标最能反映临床环境中基于深度学习的配准模型的质量、准确性和鲁棒性？
• RQ5 在动态影像（如4D-CT、电影-MRI）中，将基于深度学习的配准扩展至长时序追踪的关键挑战与机遇是什么？

主要发现

• 基于深度学习的配准方法相比传统迭代优化方法（如SyN或LDDMM）实现了显著的速度提升，通常快几个数量级。
• U-Net和基于ResNet的编码器-解码器网络已成为非刚性配准的主导架构，能够实现高分辨率密集位移场的预测。
• 可微相似性度量（如局部互相关和归一化互信息）显著提升了配准精度，尤其在低对比度或低对比度模态场景中表现更优。
• 通过蒙特卡洛dropout和贝叶斯网络进行不确定性估计，可生成可靠的置信度图，有助于在临床工作流中识别不可靠的配准区域。
• 目标配准误差（TRE）和解剖结构上的Dice分数与临床相关性高度相关，而雅可比行列式分析显示现代模型在平滑性和微分同胚性方面有显著改进。
• 基于学习的图谱构建方法生成的模板比传统平均法更清晰、对比度更高，使其应用范围从神经影像扩展至心脏、腹部等身体部位。