[论文解读] AutoPET Challenge: Combining nn-Unet with Swin UNETR Augmented by Maximum Intensity Projection Classifier

Lars Heiliger, Zdravko Marinov+10 more|arXiv (Cornell University)|Sep 2, 2022

Radiomics and Machine Learning in Medical Imaging被引用 7

一句话总结

本论文提出了一种混合深度学习方法，用于在AutoPET挑战赛中对FDG-PET/CT扫描进行3D语义分割，结合nn-Unet与Swin UNETR，并采用基于最大强度投影（MIP）的分类器作为门控机制。该方法仅在MIP分类器检测到潜在病灶时才进行分割输出的后期融合，最终在肺癌、黑色素瘤和淋巴瘤患者中实现了72.12%的交叉验证Dice分数。

ABSTRACT

Tumor volume and changes in tumor characteristics over time are important biomarkers for cancer therapy. In this context, FDG-PET/CT scans are routinely used for staging and re-staging of cancer, as the radiolabeled fluorodeoxyglucose is taken up in regions of high metabolism. Unfortunately, these regions with high metabolism are not specific to tumors and can also represent physiological uptake by normal functioning organs, inflammation, or infection, making detailed and reliable tumor segmentation in these scans a demanding task. This gap in research is addressed by the AutoPET challenge, which provides a public data set with FDG-PET/CT scans from 900 patients to encourage further improvement in this field. Our contribution to this challenge is an ensemble of two state-of-the-art segmentation models, the nn-Unet and the Swin UNETR, augmented by a maximum intensity projection classifier that acts like a gating mechanism. If it predicts the existence of lesions, both segmentations are combined by a late fusion approach. Our solution achieves a Dice score of 72.12\% on patients diagnosed with lung cancer, melanoma, and lymphoma in our cross-validation. Code: https://github.com/heiligerl/autopet_submission

研究动机与目标

• 提升肿瘤在FDG-PET/CT扫描中的3D语义分割性能，因肿瘤常被生理摄取所掩盖。
• 解决由器官中的非恶性代谢活动、炎症或感染引起的假阳性分割问题。
• 为多种癌症类型（肺癌、黑色素瘤、淋巴瘤）开发一种稳健且自动化的肿瘤体积评估解决方案。
• 在后期融合流水线中结合注意力机制架构（Swin UNETR）与高效分割模型（nn-Unet），并引入分类器门控机制。
• 在来自AutoPET挑战赛的900例患者的大型公开数据集上验证该方法，强调临床相关性与泛化能力。

提出的方法

• 该流程将PET扫描的冠状面和矢状面最大强度投影（MIP）作为输入，送入二分类器集成模型以检测病理性摄取。
• 分类器集成结合了ResNet18与ResNet50主干网络，分别在含脑结构与不含脑结构的MIP图像上进行训练，采用逻辑或（OR）进行决策级后期融合。
• 采用保守阈值（γ=0.3）以减少假阴性，仅当任一分类器检测到病灶时才执行分割。
• 分割任务由两种最先进模型完成：nn-Unet（带自动超参数调优的3D U-Net）与Swin UNETR（基于Transformer的3D分割模型）。
• nn-Unet与Swin UNETR的输出通过平均方式进行融合，随后进行后处理。
• 后处理包括移除小预测（<10个体素）及边界抑制（z轴切片的0.5–12%），但改进效果有限。

实验结果

研究问题

• RQ1 基于MIP的分类器能否有效作为门控机制，避免在健康患者中进行不必要的分割？
• RQ2 nn-Unet与Swin UNETR的后期融合相较于单一模型是否能提升分割性能？
• RQ3 使用去脑MIP是否能提升分类器的泛化能力并减少假阳性？
• RQ4 Swin UNETR中的注意力机制在多大程度上与nn-Unet的归纳偏置在3D肿瘤分割中形成互补？
• RQ5 在临床分割流水线中，假阳性体积（FPV）与假阴性体积（FNV）之间应如何实现最优平衡？

主要发现

• 集成分类器在交叉验证中达到74.3%的准确率，每折仅含2.4个假阴性和49.6个假阳性。
• MIP-Y（冠状面）视图始终优于MIP-X（矢状面），使用EfficientNet-B4在含脑结构的MIP-Y上达到最高91.09%的准确率。
• 去脑MIP导致了不同的假阴性/假阳性分布，表明特征学习具有互补性，且在两种变体上进行集成训练可能具有潜在优势。
• nn-Unet与Swin UNETR的后期融合提升了性能，后者可能通过长程上下文建模发挥作用。
• 后处理步骤影响甚微，仅减少了1个肿瘤预测，且对健康病例中假阳性的减少作用微弱。
• 最终解决方案在肺癌、黑色素瘤和淋巴瘤患者中实现了72.12%的平均交叉验证Dice分数，优于AutoPET挑战赛中的基线模型。