[论文解读] DeepFLASH: An Efficient Network for Learning-based Medical Image Registration

Jian Wang, Miaomiao Zhang|arXiv (Cornell University)|Apr 5, 2020

Medical Image Segmentation Techniques参考文献 29被引用 6

一句话总结

DeepFLASH 提出了一种新颖的基于学习的医学图像配准网络，其在低维带限傅里叶空间中运行，显著降低了计算成本和内存使用量，同时保持了微分同胚变换的性质。通过利用复数运算和带限损失函数，其推理速度比最先进方法快100倍，训练速度快40%，在2D合成数据和3D脑部MRI数据上保持了相当的配准精度。

ABSTRACT

This paper presents DeepFLASH, a novel network with efficient training and inference for learning-based medical image registration. In contrast to existing approaches that learn spatial transformations from training data in the high dimensional imaging space, we develop a new registration network entirely in a low dimensional bandlimited space. This dramatically reduces the computational cost and memory footprint of an expensive training and inference. To achieve this goal, we first introduce complex-valued operations and representations of neural architectures that provide key components for learning-based registration models. We then construct an explicit loss function of transformation fields fully characterized in a bandlimited space with much fewer parameterizations. Experimental results show that our method is significantly faster than the state-of-the-art deep learning based image registration methods, while producing equally accurate alignment. We demonstrate our algorithm in two different applications of image registration: 2D synthetic data and 3D real brain magnetic resonance (MR) images. Our code is available at https://github.com/jw4hv/deepflash.

研究动机与目标

• 解决基于深度学习的医学图像配准在高维成像空间中计算成本高和内存占用大的问题。
• 在端到端学习过程中保持微分同胚性质——即光滑性、可逆性和拓扑保持性。
• 在不牺牲配准精度的前提下，减少深度学习配准模型的训练和推理时间。
• 提出一种新颖的框架，用于在傅里叶空间中学习微分同胚变换，实现高效的优化与参数化。
• 证明复数神经网络运算在带限表示中用于医学图像配准的可行性和优越性。

提出的方法

• 该方法在低维带限傅里叶空间中表述微分同胚变换，显著减少了表示形变场所需的参数数量。
• 引入复数神经网络运算，如复数卷积和复数ReLU，以在傅里叶域中建模变换。
• 显式地在傅里叶系数上定义带限损失函数，确保在更少参数下仍保持光滑性和微分同胚一致性。
• 采用实数域中的双分支网络架构，以模拟复数域优化，实现在标准深度学习框架中的实际部署。
• 该框架设计为与多种神经网络架构兼容，包括CNN、FCN和RNN，增强了其泛化能力。
• 通过图像相似性上的监督损失和正则化项（在带限空间中强制光滑性）进行端到端训练。

实验结果

研究问题

• RQ1 通过在低维带限傅里叶空间中运行，能否显著提升基于学习的医学图像配准的速度并提高内存效率？
• RQ2 如何有效将复数运算和表示集成到深度神经网络中，以实现微分同胚图像配准？
• RQ3 带限损失函数是否能在降低参数化复杂度的同时，保持变换的微分同胚性质？
• RQ4 与现有基于学习和基于优化的配准方法相比，该方法在速度、精度和内存使用方面优越程度如何？
• RQ5 是否可能通过解耦的实数域网络实现高精度配准，从而在傅里叶域中模拟复数域优化？

主要发现

• DeepFLASH 的推理速度比基于优化的方法（如 VM-LDDMM 和 ANTs(SyN)）快约100倍，GPU上配准时间仅为0.273秒。
• 该方法将训练时间缩短至14.1 GPU小时，比第二快的基线模型 Quicksilver（31.4 GPU小时）提高了50%。
• 在训练和推理过程中，DeepFLASH 使用的GPU内存显著低于其他基于学习的方法，平均内存使用量大幅降低。
• 该方法在LPBA40数据集中八个脑区上的平均Dice分数达到0.780，配准精度与最先进模型相当，略优于Voxelmorph和Quicksilver。
• 雅可比行列式图中未发现奇点或伪影，证实变换始终保持光滑且为微分同胚。
• 消融实验证实，带限表示和复数运算对于在降低计算成本的同时保持精度至关重要。