[논문 리뷰] Whole-body tumor segmentation of 18F -FDG PET/CT using a cascaded and ensembled convolutional neural networks

Ludovic Sibille, Xinrui Zhan외 1명|arXiv (Cornell University)|2022. 10. 14.

Medical Imaging Techniques and Applications인용 수 4

한 줄 요약

이 연구는 18F-FDG PET/CT 스캔에서 전신 종양 세분화를 위한 계단식으로 연결된 병렬 3D 합성곱 신경망을 제안한다. 이는 6mm 해상도의 초기 세분화 이후 원본 해상도로 복원하는 잔차 기반 개선기로 구성된 굵은-세밀한 접근 방식을 사용한다. 이 방법은 84개의 테스트 케이스에서 덱스 점수 0.68을 기록했으며, 자동 및 수작업으로 측정한 대사성 종양 부피(MTV) 간에 매우 높은 상관관계(R² = 0.969)를 보였다.

ABSTRACT

Background: A crucial initial processing step for quantitative PET/CT analysis is the segmentation of tumor lesions enabling accurate feature ex-traction, tumor characterization, oncologic staging, and image-based therapy response assessment. Manual lesion segmentation is however associated with enormous effort and cost and is thus infeasible in clinical routine. Goal: The goal of this study was to report the performance of a deep neural network designed to automatically segment regions suspected of cancer in whole-body 18F-FDG PET/CT images in the context of the AutoPET challenge. Method: A cascaded approach was developed where a stacked ensemble of 3D UNET CNN processed the PET/CT images at a fixed 6mm resolution. A refiner network composed of residual layers enhanced the 6mm segmentation mask to the original resolution. Results: 930 cases were used to train the model. 50% were histologically proven cancer patients and 50% were healthy controls. We obtained a dice=0.68 on 84 stratified test cases. Manual and automatic Metabolic Tumor Volume (MTV) were highly correlated (R2 = 0.969,Slope = 0.947). Inference time was 89.7 seconds on average. Conclusion: The proposed algorithm accurately segmented regions suspicious for cancer in whole-body 18F -FDG PET/CT images.

연구 동기 및 목표

• 수작업 세분화의 한계를 극복하기 위해 18F-FDG PET/CT 스캔에서 전신 종양 세분화를 자동화하는 딥 러닝 방법을 개발하는 것.
• 정상 조직과 종양 간의 FDG 축적 패tern의 높은 변동성, 저활성 병변 및 아티팩트 문제를 해결하는 것.
• 계단식 아키텍처를 통해 앙상블 학습과 해상도 복원을 조합하여 세분화 정확도와 강인성을 향상시키는 것.
• 다양한 병변 유형과 환자 집단에서 높은 성능을 유지하면서도 임상적으로 실용적인 추론 속도를 달성하는 것.

제안 방법

• 계단식 이중 단계 프레임워크를 적용: 첫 번째 단계에서 4개의 맞춤형 3D U-Net 모델을 앙상블하여 고정된 6mm 등방성 해상도에서 PET/CT 영상을 처리해 굵은 세분화 마스크를 생성한다.
• 앙상블 모델은 장거리 상관관계를 포착하기 위해 브로드캐스트 영역에 큰 커널 크기(9³)를 사용했으며, 인스턴스 정규화와 함께 리 leaky ReLU 활성화 함수를 적용했다.
• 원본 해상도 영상과 6mm 세분화 마스크를 기반으로 훈련된 잔차 기반 개선기 네트워크를 통해 예측 결과를 원본 해상도로 정밀화하여 공간 정확도를 향상시켰다.
• 데이터 증강에는 무작위 플립, 애핀 변환, PET 전용 증강(흐림, 밝기, 대비, 감마)이 포함되었으며, 개선기의 해상도 독립성 확보를 위해 추가로 무작위 간격을 적용했다.
• 모델 훈련은 덱스 손실과 교차 엔트로피 손실의 조합을 사용했으며, 훈련 안정성을 높이기 위해 심층 감독과 기울기 클리핑을 적용했다.
• 후처리 단계로 연결된 성분 분석과 특징 집합을 수행했지만, 순차적 모델(LSTM/GRU)은 성능 향상이 미미하여 최종적으로 제거했다.

실험 결과

연구 질문

• RQ1 계단식으로 연결된 병렬 3D CNN 아키텍처가 저활성 병변 및 산재한 병변을 포함한 다양한 FDG-PET/CT 영상에서 전신 종양 세분화에 대해 강인한 성능을 달성할 수 있는가?
• RQ2 공유 아키텍처를 가진 여러 3D U-Net 모델을 앙상블 평균화하는 방식이 세분화의 안정성과 성능 향상에 어떤 기여를 하는가?
• RQ3 粗모형에서 6mm 예측 결과를 원본 해상도로 복원하는 해상도 복원 네트워크가 세분화 정확도 향상에 얼마나 기여하는가?
• RQ4 다양한 손실 함수와 데이터 증강 전략이 병변 변동성에 대한 모델 일반화 및 강인성에 어떤 영향을 미치는가?
• RQ5 자동 세분화 방법이 대사성 종양 부피(MTV) 추정에서 수작업 전문가 분할 결과와 높은 일치도를 달성할 수 있는가?

주요 결과

• 최종 앙상블 모델은 84개의 전략화된 테스트 케이스에서 덱스 점수 0.6823을 기록했으며, 병변이 있는 케이스에서는 덱스 점수 0.6823을 기록했다.
• 자동으로 세분화된 대사성 종양 부피(MTV)와 수작업 세분화 결과 간 상관관계는 매우 높았으며, R² = 0.969, 기울기 = 0.947였다.
• 앙상블 모델에서 가짜 양성 부피는 11.59 mL(바이트 단위)로 감소했고, 가짜 음성 부피는 19.59 mL로 줄어들어 민감도와 특이도 사이의 효과적인 균형을 이루었다.
• 전체 파이프라인(개선기 포함)은 단일 V100 GPU에서 평균 89.7초가 소요되었으며, 추론 속도 최적화는 이루어지지 않았다.
• 정상 생리적 축적 패턴(예: 갈색 지방, 복부, 신장)과 병리적 변동성(저활성 병변 및 병변이 큰 병변 포함)에 대해 모델은 강인성을 보였다.
• 덱스 손실과 교차 엔트로피 손실의 병합, 심층 감독, 기울기 클리핑의 조합이 훈련 안정성 향상과 최종 성능 향상에 중대한 기여를 하였다.