[论文解读] Unsupervised End-to-end Learning for Deformable Medical Image Registration

Siyuan Shan, Yan Wen+4 more|arXiv (Cornell University)|Nov 23, 2017

Medical Image Segmentation Techniques参考文献 3被引用 37

一句话总结

该论文提出了一种无监督、端到端的深度学习框架，用于可变形医学图像配准，采用全卷积神经网络联合学习图像特征与形变场。该方法在2D脑部图像配准任务中达到最先进性能，推理速度比传统方法快100倍，且在不使用任何标注信息的情况下，通过额外未标注数据进行训练，性能提升约10%。

ABSTRACT

We propose a registration algorithm for 2D CT/MRI medical images with a new unsupervised end-to-end strategy using convolutional neural networks. The contributions of our algorithm are threefold: (1) We transplant traditional image registration algorithms to an end-to-end convolutional neural network framework, while maintaining the unsupervised nature of image registration problems. The image-to-image integrated framework can simultaneously learn both image features and transformation matrix for registration. (2) Training with additional data without any label can further improve the registration performance by approximately 10 %. (3) The registration speed is 100x faster than traditional methods. The proposed network is easy to implement and can be trained efficiently. Experiments demonstrate that our system achieves state-of-the-art results on 2D brain registration and achieves comparable results on 2D liver registration. It can be extended to register other organs beyond liver and brain such as kidney, lung, and heart.

研究动机与目标

• 开发一种无监督、端到端的深度学习框架，用于可变形医学图像配准，以消除对标注形变场或分割掩码的需求。
• 在单一全卷积网络架构中实现图像特征提取与形变场预测的联合优化。
• 仅使用未标注数据提升配准精度，避免昂贵的人工标注。
• 实现适合临床部署的实时推理速度，显著快于传统迭代方法。

提出的方法

• 该方法采用全卷积神经网络（FCN），以固定图像和移动图像对作为输入，直接输出密集形变场。
• 形变场用于生成双线性插值的采样网格，以将移动图像形变到固定图像上。
• 通过计算形变后移动图像与固定图像之间的L2差异，计算光度损失，实现无需真实标签的反向传播。
• 引入边缘感知平滑损失，以正则化形变场并保留解剖边界。
• 网络仅使用图像对进行端到端训练，无需分割掩码或光流标注。
• 在训练过程中使用额外的未标注数据，进一步提升性能，证明了无监督策略的鲁棒性。

实验结果

研究问题

• RQ1 能否在无需任何标注形变场或分割掩码的情况下，端到端训练全卷积神经网络，实现无监督可变形图像配准？
• RQ2 额外未标注数据的引入如何影响无监督配准网络的性能？
• RQ3 所提出的方法是否能在无监督条件下，于2D脑部和肝脏影像数据集上实现最先进配准精度？
• RQ4 与标准平滑正则化相比，所提出的边缘感知平滑损失在多大程度上提升了配准质量？
• RQ5 所提方法的推理速度与传统迭代配准算法（如ITK和ANTS）相比如何？

主要发现

• 所提出的无监督方法在2D脑部图像配准任务中达到最先进性能，PE w/ mask且使用更多未标注数据时，平均目标配准误差（Dist）为3.31 mm。
• 在使用额外未标注数据训练时，性能提升约10%，证明了自监督数据增强的有效性。
• 该方法比传统迭代方法快100倍，单例推理时间约为0.094秒，而ITK或ANTS需数分钟。
• 引入感兴趣区域（ROI）分割模块可提升肝脏图像的配准精度，但在脑部图像上提升较小，因背景噪声较低。
• 该方法在脑部和肝脏之外也具有良好泛化能力，具有扩展至肾脏、肺部和心脏等其他器官的潜力。
• 消融实验确认，边缘感知平滑损失通过保留解剖边界，显著提升了配准质量。