[论文解读] Introduction to Medical Image Registration with DeepReg, Between Old and New

Nina Montaña-Brown, Yunguan Fu+11 more|arXiv (Cornell University)|Aug 29, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 11被引用 4

一句话总结

本教程介绍了 DeepReg，一个用于医学图像配准的开源深度学习框架，展示了其如何整合经典基于优化的方法与现代基于学习的方法。该框架使研究人员能够使用真实临床数据实现并比较刚性、非刚性以及基于深度学习的配准方法，提供端到端的代码示例，并通过 TensorFlow 2 实现 GPU 加速训练，在实际临床场景中实现精确的图像对齐。

ABSTRACT

This document outlines a tutorial to get started with medical image registration using the open-source package DeepReg. The basic concepts of medical image registration are discussed, linking classical methods to newer methods using deep learning. Two iterative, classical algorithms using optimisation and one learning-based algorithm using deep learning are coded step-by-step using DeepReg utilities, all with real, open-accessible, medical data.

研究动机与目标

• 为初学者提供一个基于代码的实用教程，使用开源的 DeepReg 框架进行医学图像配准。
• 通过 DeepReg 中统一的实现方式，弥合经典基于优化的配准方法与现代深度学习方法之间的差距。
• 展示 DeepReg 在真实临床应用中的使用，包括多模态和纵向图像配准。
• 使具备最少编码经验的研究人员能够使用预打包且经过测试的组件，复现并扩展最先进的配准技术。
• 通过提供易于访问、文档齐全的工具和示例，促进社区驱动的、具有临床相关性的研究。

提出的方法

• 本教程通过 DeepReg 的高级 API 实现三种配准策略：两种基于优化的迭代算法（经典方法）和一种基于深度学习的方法（使用类似 U-Net 的网络）。
• 利用 TensorFlow 2 和 Keras 兼容层定义并训练配准模型，包括图像相似性损失函数和形变场平滑性损失函数。
• 使用成对训练设置，在公开获取的临床数据集（如 T2 加权 MRI 和标签图）上对预训练的深度学习模型进行微调。
• 该框架支持图像和标签的形变映射，通过固定图像、移动图像、形变图像与真实标签图像的逐切片对比进行可视化。
• 通过 Google Colab 提供 GPU 支持，加速训练过程，模型推理与可视化管道在 Jupyter Notebook 中实现。
• 代码库包含用于数据加载、配置解析（YAML 格式）和模型检查点保存的工具，确保可复现性和可扩展性。

实验结果

研究问题

• RQ1 如何通过统一框架实现并比较经典图像配准算法与基于深度学习的方法？
• RQ2 DeepReg 在多大程度上实现了传统基于优化的方法与现代深度学习架构之间的无缝集成？
• RQ3 像 DeepReg 这样单一且模块化的框架，能否支持多样化的临床配准任务，包括多模态和纵向影像？
• RQ4 在配准精度和计算效率方面，学习型配准模型的性能与经典迭代方法相比如何？
• RQ5 对于医学影像领域深度学习经验较少的研究人员，DeepReg 的实际可用性如何？

主要发现

• 本教程成功展示了使用 DeepReg 实现经典方法与基于深度学习的配准的端到端流程，通过 Jupyter Notebook 实现完全可复现。
• 深度学习模型在视觉上表现出色，能够准确地将移动图像及其标签形变对齐至固定图像，预测结果与真实标签切片对比清晰显示了配准效果。
• 通过 Google Colab 在 GPU 上训练仅需几分钟，推理时间适合临床工作流程的集成。
• 该框架实现了配准流程的一致性与模块化，显著减少开发时间并提高可复现性。
• 图像相似性损失函数与形变场平滑性损失函数的结合，生成了真实且解剖学上合理的形变场。
• 本教程的代码与配置文件公开可用，支持社区扩展，并可适配新的临床数据集。