[论文解读] Joint Progressive and Coarse-to-fine Registration of Brain MRI via Deformation Field Integration and Non-Rigid Feature Fusion

Jinxin Lv, Zhiwei Wang+5 more|arXiv (Cornell University)|Sep 25, 2021

Medical Image Segmentation Techniques被引用 5

一句话总结

本文提出了一种用于脑部MRI配准的统一深度学习框架，通过两种新型模块——形变场融合（DFI）和非刚性特征融合（NFF）——联合实现渐进式与粗到细的形变场估计。通过迭代整合较粗的子场并跨尺度融合对齐特征，该方法实现了最先进（SOTA）的配准精度，相较于现有方法，平均Dice分数最高提升8%。

ABSTRACT

Registration of brain MRI images requires to solve a deformation field, which is extremely difficult in aligning intricate brain tissues, e.g., subcortical nuclei, etc. Existing efforts resort to decomposing the target deformation field into intermediate sub-fields with either tiny motions, i.e., progressive registration stage by stage, or lower resolutions, i.e., coarse-to-fine estimation of the full-size deformation field. In this paper, we argue that those efforts are not mutually exclusive, and propose a unified framework for robust brain MRI registration in both progressive and coarse-to-fine manners simultaneously. Specifically, building on a dual-encoder U-Net, the fixed-moving MRI pair is encoded and decoded into multi-scale deformation sub-fields from coarse to fine. Each decoding block contains two proposed novel modules: i) in Deformation Field Integration (DFI), a single integrated sub-field is calculated, warping by which is equivalent to warping progressively by sub-fields from all previous decoding blocks, and ii) in Non-rigid Feature Fusion (NFF), features of the fixed-moving pair are aligned by DFI-integrated sub-field, and then fused to predict a finer sub-field. Leveraging both DFI and NFF, the target deformation field is factorized into multi-scale sub-fields, where the coarser fields alleviate the estimate of a finer one and the finer field learns to make up those misalignments insolvable by previous coarser ones. The extensive and comprehensive experimental results on both private and public datasets demonstrate a superior registration performance of brain MRI images over progressive registration only and coarse-to-fine estimation only, with an increase by at most 8% in the average Dice.

研究动机与目标

• 为解决在复杂、小尺度结构（如皮层下核团）存在时准确配准脑部MRI图像的挑战。
• 克服现有方法仅使用渐进式或仅使用粗到细分解策略的局限性，这些方法可能效率低下或不够准确。
• 将渐进式与粗到细配准统一为单一高效框架，以提升配准对齐精度。
• 实现对多样化扫描协议与图像模式的鲁棒配准，增强泛化能力。

提出的方法

• 该方法采用双编码器U-Net架构，将固定图像与移动图像对编码为多尺度特征。
• 在每个解码块中，形变场融合（DFI）计算一个单一集成形变子场，通过按顺序应用所有先前子场，等效地对图像进行形变。
• 非刚性特征融合（NFF）利用DFI集成的形变场对固定与移动图像特征进行对齐，随后通过通道与空间注意力机制融合特征，以预测更精细的子场。
• DFI与NFF在解码块间交替应用，实现对完整形变场的联合渐进式与粗到细分解。
• 网络采用端到端训练，损失函数结合了图像相似性（NCC、MI、MSE）与分割精度（Dice、HD、ASSD）。
• 该框架采用单个解码器并结合多尺度监督，提升了在不同MRI协议下的效率与泛化能力。

实验结果

研究问题

• RQ1 与单独使用任一策略相比，联合采用渐进式与粗到细分解是否能提升脑部MRI配准的准确性？
• RQ2 在深度网络中，从前序阶段整合形变场如何改善对更精细子场的估计？
• RQ3 通过注意力机制进行特征融合在多大程度上增强了对皮层下核团等复杂脑结构的对齐效果？
• RQ4 所提出的框架在不同MRI序列与扫描协议之间是否具有良好的泛化能力？
• RQ5 所提出的方法是否在图像相似性与区域级分割指标上均优于最先进方法？

主要发现

• 在IXI数据集上，所提方法相较于基线方法，平均Dice分数最高提升8%，证明了其在分割精度上的优越性。
• 仅添加DFI可使Dice分数提升1.9%；加入带注意力机制的NFF可使Dice分数再提升2.5%，表明两者均有显著独立贡献。
• 同时结合DFI与NFF可使Dice分数相较基线提升3.6%，配对样本t检验的p值小于1.70e-9，确认具有统计显著性。
• 消融实验表明，DFI与NFF具有互补性，联合使用可显著提升配准性能。
• 通过在未见扫描序列上的泛化性测试，验证了该方法在不同MRI协议下具有良好的泛化能力。
• 在四个数据集上，该框架在图像相似性与区域级相似性指标上均优于最先进方法，包括VTN与Dual-PRNet。