[论文解读] Large-Scale Multi-Center CT and MRI Segmentation of Pancreas with Deep Learning

Zheyuan Zhang, Elif Keleş+36 more|arXiv (Cornell University)|May 20, 2024

Hydraulic Fracturing and Reservoir Analysis被引用 4

一句话总结

该论文提出PanSegNet，一种结合nnUNet与具有线性注意力机制的Transformer的深度学习模型，用于在CT和MRI上实现鲁棒、多中心、多模态的胰腺分割。其Dice分数达到SOTA水平，分别为88.3%（CT）、85.0%（T1W MRI）和86.3%（T2W MRI），体积预测准确率高，且具备出色的跨中心泛化能力。

ABSTRACT

Automated volumetric segmentation of the pancreas on cross-sectional imaging is needed for diagnosis and follow-up of pancreatic diseases. While CT-based pancreatic segmentation is more established, MRI-based segmentation methods are understudied, largely due to a lack of publicly available datasets, benchmarking research efforts, and domain-specific deep learning methods. In this retrospective study, we collected a large dataset (767 scans from 499 participants) of T1-weighted (T1W) and T2-weighted (T2W) abdominal MRI series from five centers between March 2004 and November 2022. We also collected CT scans of 1,350 patients from publicly available sources for benchmarking purposes. We developed a new pancreas segmentation method, called PanSegNet, combining the strengths of nnUNet and a Transformer network with a new linear attention module enabling volumetric computation. We tested PanSegNet's accuracy in cross-modality (a total of 2,117 scans) and cross-center settings with Dice and Hausdorff distance (HD95) evaluation metrics. We used Cohen's kappa statistics for intra and inter-rater agreement evaluation and paired t-tests for volume and Dice comparisons, respectively. For segmentation accuracy, we achieved Dice coefficients of 88.3% (std: 7.2%, at case level) with CT, 85.0% (std: 7.9%) with T1W MRI, and 86.3% (std: 6.4%) with T2W MRI. There was a high correlation for pancreas volume prediction with R^2 of 0.91, 0.84, and 0.85 for CT, T1W, and T2W, respectively. We found moderate inter-observer (0.624 and 0.638 for T1W and T2W MRI, respectively) and high intra-observer agreement scores. All MRI data is made available at https://osf.io/kysnj/. Our source code is available at https://github.com/NUBagciLab/PaNSegNet.

研究动机与目标

• 解决深度学习领域中公开、高质量胰腺MRI数据集严重匮乏的关键问题。
• 开发一种可泛化的深度学习模型，能够在来自多个医疗中心、不同扫描协议和设备厂商的多样化CT和MRI图像上实现精确的胰腺分割。
• 实现胰腺的鲁棒、自动化体积分割，以支持胰腺疾病在诊断、随访和手术规划中的应用。
• 尽管存在成像协议和扫描设备厂商带来的领域偏移，仍提升分割模型在跨模态和跨中心场景下的泛化能力。
• 通过发布大规模多中心MRI数据集和PanSegNet源代码，推动开放科学，加速医学图像分析领域的研究。

提出的方法

• 提出PanSegNet，一种混合深度学习架构，结合了基于3D U-Net的nnUNet分割优势与新型线性注意力机制的Transformer，以实现长距离上下文建模。
• 设计线性注意力模块，实现高效的体素计算，在保持3D医学图像性能的同时降低内存和计算成本。
• 在大规模多中心数据集上进行训练与验证，该数据集包含来自五个机构的767例MRI扫描（385例T1W，382例T2W）以及来自公开来源的1,350例CT扫描。
• 应用广泛的图像预处理与数据调和，以缓解不同中心和扫描设备间信号强度与序列的差异。
• 采用Dice系数、HD95、评分者间与评分者内一致性（Cohen’s kappa）以及体积和Dice值比较的配对t检验来评估性能。
• 开展跨模态与跨中心评估以测试泛化能力，包括在AMOS、WORD和BTCV等外部数据集上的验证。

实验结果

研究问题

• RQ1 深度学习模型是否能在协议和扫描设备厂商各异的多个医疗中心的多样化CT和MRI扫描中实现高精度胰腺分割？
• RQ2 与现有方法相比，所提出的PanSegNet模型在跨模态（CT与MRI）和跨中心泛化设置下的表现如何？
• RQ3 由于MRI和CT影像数据中的领域偏移，模型性能下降的程度如何？其是否能在此类偏移下仍保持高精度？
• RQ4 预测胰腺体积与真实体积之间的相关性如何？其自动化体积测量在临床应用中是否可靠？
• RQ5 在3D U-Net框架中集成线性注意力机制，是否能提升大规模体素医学图像分割的精度与效率？

主要发现

• PanSegNet在CT扫描上达到88.3%（±7.2%）的Dice系数，在T1加权MRI上为85.0%（±7.9%），在T2加权MRI上为86.3%（±6.4%），表现出SOTA性能。
• 模型在胰腺体积预测方面表现出色，决定系数R²分别为0.91（CT）、0.84（T1W MRI）和0.85（T2W MRI），表明与真实值高度相关。
• 评分者间一致性为中等（T1W MRI为kappa = 0.624，T2W MRI为kappa = 0.638），而评分者内一致性较高，表明人工标注可靠。
• 外部验证揭示了领域偏移，尤其在中心#3、#4和#5中表现明显，提示在未见中心上性能下降，凸显领域泛化的重要性。
• 本研究发布了目前公开可用的最大规模多中心MRI数据集（385例T1W，382例T2W扫描），并开源了PanSegNet代码，以支持未来研究。
• 尽管在前瞻性临床验证和研究范围（仅限胰腺分割）方面存在局限，该模型在糖尿病、慢性胰腺炎及癌症随访等临床应用中展现出强大潜力。