[论文解读] AutoFuse: Automatic Fusion Networks for Deformable Medical Image Registration

Mingyuan Meng, Michael Fulham+3 more|arXiv (Cornell University)|Sep 11, 2023

Medical Image Segmentation Techniques被引用 4

一句话总结

AutoFuse 提出了一种数据驱动的、自动化的可变形医学图像配准融合网络，通过可学习的融合门模块学习最优融合策略，在八个公开数据集上的跨患者和同患者配准任务中，通过在训练过程中动态融合网络多个位置的特征，超越了最先进的无监督和半监督方法。

ABSTRACT

Deformable image registration aims to find a dense non-linear spatial correspondence between a pair of images, which is a crucial step for many medical tasks such as tumor growth monitoring and population analysis. Recently, Deep Neural Networks (DNNs) have been widely recognized for their ability to perform fast end-to-end registration. However, DNN-based registration needs to explore the spatial information of each image and fuse this information to characterize spatial correspondence. This raises an essential question: what is the optimal fusion strategy to characterize spatial correspondence? Existing fusion strategies (e.g., early fusion, late fusion) were empirically designed to fuse information by manually defined prior knowledge, which inevitably constrains the registration performance within the limits of empirical designs. In this study, we depart from existing empirically-designed fusion strategies and develop a data-driven fusion strategy for deformable image registration. To achieve this, we propose an Automatic Fusion network (AutoFuse) that provides flexibility to fuse information at many potential locations within the network. A Fusion Gate (FG) module is also proposed to control how to fuse information at each potential network location based on training data. Our AutoFuse can automatically optimize its fusion strategy during training and can be generalizable to both unsupervised registration (without any labels) and semi-supervised registration (with weak labels provided for partial training data). Extensive experiments on two well-benchmarked medical registration tasks (inter- and intra-patient registration) with eight public datasets show that our AutoFuse outperforms state-of-the-art unsupervised and semi-supervised registration methods.

研究动机与目标

• 解决基于深度学习的可变形图像配准中手动设计融合策略的局限性。
• 开发一种灵活的、端到端可训练的融合机制，自动优化特征融合的位置和权重。
• 在不依赖真实标签的情况下，实现对无监督和半监督配准设置的泛化能力。
• 通过数据驱动的融合而非启发式设计，学习最优的空间对应关系，从而提高配准精度。
• 提供一种可扩展且可适应的框架，适用于多样化的临床配准任务。

提出的方法

• 提出一种自动融合网络（AutoFuse），可在深度神经网络架构中的多个潜在位置实现特征融合。
• 引入一种可学习的融合门（FG）模块，动态控制在每个融合点处不同模态输入特征的组合方式。
• 采用可微分的架构搜索机制，使网络在反向传播过程中学习最优融合策略。
• 通过不依赖真实形变场的损失函数，支持无监督和半监督训练。
• 使用类似U-Net的编码器-解码器主干网络并加入跳跃连接，其中在多个层级插入FG模块以实现多尺度融合。
• 使用可微分的相似性损失（例如归一化互相关或互信息）端到端训练整个网络，以优化空间对应关系。

实验结果

研究问题

• RQ1 在可变形医学图像配准中，学习空间对应关系的最优融合策略是什么？
• RQ2 数据驱动的融合机制能否超越手工设计的融合策略（如早期或晚期融合）？
• RQ3 自动融合网络在无监督和半监督配准场景中的泛化能力如何？
• RQ4 可学习的融合门能否有效适应不同的解剖结构和成像对比度？
• RQ5 端到端学习融合位置和权重是否能提升基准数据集上的配准精度？

主要发现

• AutoFuse 在八个公开医学影像数据集上，对跨患者和同患者配准任务均实现了最先进性能。
• 该方法在目标配准误差（TRE）和器官分割Dice分数方面，显著优于现有的无监督和半监督配准网络。
• 融合门模块能够学习在不同网络深度优先选择相关特征，从而提升空间对应关系的学习效果。
• AutoFuse 在半监督设置下表现出良好的泛化能力，即使在训练数据中仅有部分标签时也能实现高精度。
• 消融实验证实，自动融合机制比固定早期或晚期融合策略更有效。
• 该模型在多种成像模态（包括CT、MR和PET扫描）中表现出鲁棒性。