[논문 리뷰] AutoPET Challenge: Combining nn-Unet with Swin UNETR Augmented by Maximum Intensity Projection Classifier

Lars Heiliger, Zdravko Marinov외 10명|arXiv (Cornell University)|2022. 09. 02.

Radiomics and Machine Learning in Medical Imaging인용 수 7

한 줄 요약

이 논문은 AutoPET 챌린지에서 FDG-PET/CT 스캔의 3D 의미 분할을 위한 하이브리드 딥 러닝 접근법을 제시한다. nn-Unet과 Swin UNETR를 결합하고, 최대 강도 영역(최대 강도 영역, MIP) 기반 분류기를 게이팅 메커니즘으로 사용한다. 이 방법은 MIP 분류기가 잠재적 병변을 탐지할 경우에만 분할 출력을 후행 융합하여, 폐암, 메라노마, 림프종 환자에서 교차 검증 Dice 점수 72.12%를 달성한다.

ABSTRACT

Tumor volume and changes in tumor characteristics over time are important biomarkers for cancer therapy. In this context, FDG-PET/CT scans are routinely used for staging and re-staging of cancer, as the radiolabeled fluorodeoxyglucose is taken up in regions of high metabolism. Unfortunately, these regions with high metabolism are not specific to tumors and can also represent physiological uptake by normal functioning organs, inflammation, or infection, making detailed and reliable tumor segmentation in these scans a demanding task. This gap in research is addressed by the AutoPET challenge, which provides a public data set with FDG-PET/CT scans from 900 patients to encourage further improvement in this field. Our contribution to this challenge is an ensemble of two state-of-the-art segmentation models, the nn-Unet and the Swin UNETR, augmented by a maximum intensity projection classifier that acts like a gating mechanism. If it predicts the existence of lesions, both segmentations are combined by a late fusion approach. Our solution achieves a Dice score of 72.12\% on patients diagnosed with lung cancer, melanoma, and lymphoma in our cross-validation. Code: https://github.com/heiligerl/autopet_submission

연구 동기 및 목표

• 종양이 생리적 집합으로 인해 흐릿해지는 옵티컬 영역에서 FDG-PET/CT 스캔의 3D 의미 분할을 향상시키기 위해.
• 장기, 염증 또는 감염으로 인한 악성 종양이 아닌 대사 활동으로 인한 잘못된 양성 결과를 해결하기 위해.
• 다양한 종양 유형(폐암, 메라노마, 림프종)에 걸쳐 신뢰성 있고 자동화된 종양 부피 평가 솔루션을 개발하기 위해.
• 주의 기반 아키텍처(Swin UNETR)와 효율적인 분할(nn-Unet)을 늦은 융합 파이프라인에 통합하고 분류기 게이트를 활용하기 위해.
• AutoPET 챌린지에서 공개된 900명의 환자 대규모 공개 데이터셋을 기반으로 임상적 관련성과 일반화 능력을 강조하며 방법을 검증하기 위해.

제안 방법

• 파이프라인은 PET 스캔의 axial 및 sagittal 최대 강도 영역(MIP)을 병변 집합을 탐지하기 위한 이진 분류기 앙상블의 입력으로 사용한다.
• 분류기 앙상블은 ResNet18 및 ResNet50 백본을 조합하며, 뇌 구조가 포함되거나 제거된 MIP에서 훈련되며, 논리적 OR를 통한 결정 수준의 늦은 융합 방식을 사용한다.
• 거짓 음성 수를 줄이기 위해 보수적인 임계값(γ=0.3)을 적용하며, 분류기 중 하나라도 병변을 탐지할 경우에만 분할을 수행한다.
• 분할은 두 가지 최신 기술인 nn-Unet(자동 하이퍼파라미터 튜닝이 적용된 3D U-Net)과 Swin UNETR(트랜스포머 기반 3D 분할 모델)를 사용하여 수행된다.
• nn-Unet과 Swin UNETR의 출력은 후처리 이전에 평균화를 통해 융합된다.
• 후처리에는 작은 예측값(10 voxel 이하) 제거 및 경계 억제(0.5–12%의 z-슬라이스)가 포함되나, 성능 향상은 미미했다.

실험 결과

연구 질문

• RQ1 MIP 기반 분류기가 건강한 환자에서 불필요한 분할을 방지하기 위해 효과적으로 게이팅 메커니즘으로 작용할 수 있는가?
• RQ2 nn-Unet과 Swin UNETR의 늦은 융합이 개별 모델 대비 분할 성능 향상에 기여하는가?
• RQ3 뇌 구조 제거된 MIP를 사용할 경우 분류기의 일반화 능력 향상과 거짓 양성 결과 감소에 기여하는가?
• RQ4 Swin UNETR의 주의 메커니즘이 nn-Unet의 인덕티브 바이어스와 3D 종양 분할에서 어떻게 상호 보완적인가?
• RQ5 임상적 분할 파이프라인에서 거짓 양성 부피(FPV)와 거짓 음성 부피(FNV) 사이의 최적 균형은 어느 정도인가?

주요 결과

• 앙상블 분류기는 교차 검증 정확도 74.3%를 달성했으며, 평균 2.4개의 거짓 음성 및 49.6개의 거짓 양성 결과를 기록했다.
• MIP-Y(axes) 시야는 항상 MIP-X( sagittal) 시야를 능가했으며, 뇌 구조가 포함된 MIP-Y에서 EfficientNet-B4를 사용할 경우 최고 정확도 91.09%를 기록했다.
• 뇌 구조 제거된 MIP는 다른 FN/FP 분포를 보였으며, 이는 상호 보완적인 특징 학습과 두 유형 모두에 대한 앙상블 훈련의 잠재적 이점을 시사한다.
• nn-Unet과 Swin UNETR의 늦은 융합은 성능 향상에 기여했으며, 후자는 장거리 맥락 모델링을 통해 기여한 것으로 보인다.
• 후처리 단계는 미미한 영향을 미쳤으며, 오직 한 개의 종양 예측만 제거되었고, 건강한 환자에서 거짓 양성 결과는 약간 감소했다.
• 최종 솔루션은 폐암, 메라노마, 림프종 환자에서 평균 교차 검증 Dice 점수 72.12%를 달성했으며, AutoPET 챌린지의 베이스라인 모델을 초월했다.