[论文解读] A hybrid deep learning framework for integrated segmentation and registration: evaluation on longitudinal white matter tract changes

Bo Li, Wiro J. Niessen+5 more|arXiv (Cornell University)|Aug 26, 2019

Advanced Neuroimaging Techniques and Applications参考文献 12被引用 6

一句话总结

该论文提出了一种混合深度学习框架，通过单一端到端的卷积神经网络联合优化分割与可变形配准，显著提升了在大规模扩散MRI数据集（N=8045例扫描，来自3249名个体）上纵向白质纤维束分析的准确性、一致性和可重复性。该方法在性能上优于多阶段流水线，且速度快两个数量级以上，能够实现对脑微结构随时间变化的稳健量化。

ABSTRACT

To accurately analyze changes of anatomical structures in longitudinal imaging studies, consistent segmentation across multiple time-points is required. Existing solutions often involve independent registration and segmentation components. Registration between time-points is used either as a prior for segmentation in a subsequent time point or to perform segmentation in a common space. In this work, we propose a novel hybrid convolutional neural network (CNN) that integrates segmentation and registration into a single procedure. We hypothesize that the joint optimization leads to increased performance on both tasks. The hybrid CNN is trained by minimizing an integrated loss function composed of four different terms, measuring segmentation accuracy, similarity between registered images, deformation field smoothness, and segmentation consistency. We applied this method to the segmentation of white matter tracts, describing functionally grouped axonal fibers, using N=8045 longitudinal brain MRI data of 3249 individuals. The proposed method was compared with two multistage pipelines using two existing segmentation methods combined with a conventional deformable registration algorithm. In addition, we assessed the added value of the joint optimization for segmentation and registration separately. The hybrid CNN yielded significantly higher accuracy, consistency and reproducibility of segmentation than the multistage pipelines, and was orders of magnitude faster. Therefore, we expect it can serve as a novel tool to support clinical and epidemiological analyses on understanding microstructural brain changes over time.

研究动机与目标

• 为解决脑MRI研究中纵向时间点间分割不一致的挑战。
• 克服多阶段流水线将配准与分割视为独立、顺序步骤的局限性。
• 开发一种端到端的深度学习框架，联合优化分割与配准以提升性能。
• 在大规模纵向扩散MRI数据集上评估该方法在白质纤维束分割中的表现。
• 评估联合优化在分割与配准任务中的附加价值。

提出的方法

• 该框架将分割与可变形配准整合到单一混合卷积神经网络中，通过统一的损失函数联合优化两项任务。
• 损失函数包含四项：分割准确性（Dice系数）、配准后的图像相似性、形变场平滑性，以及时间点间的分割一致性。
• 网络架构采用共享参数，包含共享编码器，以及针对分割和变换预测的任务特定头。
• 配准通过共享变换网络 $\mathcal{G}_{\boldsymbol{\Phi}}$ 完成，该网络从源图像和目标图像预测形变场。
• 该方法在包含8045例纵向扫描的大规模数据集上使用Adam优化器端到端训练，学习率为 $10^{-4}$。
• 性能通过Dice系数（DC）、Cohen’s kappa ($\kappa$) 和FA测量的扫描-重扫误差 ($\epsilon$) 进行评估。

实验结果

研究问题

• RQ1 在单一深度学习框架中联合优化分割与配准，是否能相比多阶段流水线显著提升分割准确性和一致性？
• RQ2 当单独使用时，该混合框架是否相比独立的配准方法提升了配准准确性？
• RQ3 与独立的分割网络相比，联合优化在多大程度上提升了分割性能？
• RQ4 该方法在时间点间FA测量的可重复性方面表现如何？
• RQ5 该混合模型是否能在保持或提升分割与配准质量的同时实现更快的推理速度？

主要发现

• 该混合方法在分割准确性上达到Dice系数0.70 ± 0.07，显著优于多阶段流水线（0.67 ± 0.08，p < 0.01）。
• 分割一致性（通过变换后分割与目标分割之间的Dice值衡量）达到0.73 ± 0.11，显著高于多阶段方法（0.70 ± 0.06，p < 0.01）。
• 该方法将FA测量的扫描-重扫误差降低至2.3%，优于文献基线（11%）和定制化纵向方法（5%）。
• 该混合模型的配准组件在参考分割上的Dice评分为0.55 ± 0.11，显著优于独立的RegNet（0.53 ± 0.10，p < 0.01）。
• 该混合模型的分割组件在Dice评分上达到0.70 ± 0.07，显著高于独立的SegNet（0.69 ± 0.08，p < 0.01）。
• 该混合框架比多阶段流水线快两个数量级以上，实现了脑微结构变化纵向分析的高效处理。