[논문 리뷰] Head and Neck Tumor Segmentation from [18F]F-FDG PET/CT Images Based on 3D Diffusion Model

Yafei Dong, Kuang Gong|arXiv (Cornell University)|2024. 01. 31.

Radiomics and Machine Learning in Medical Imaging인용 수 1

한 줄 요약

이 논문은 두 가지 영상 모odal인 3D [18F]F-FDG PET 및 CT 영상을 활용하여 두경부 종양 분할을 향상시키는 3D 확산 모델을 제안한다. PET, CT 및 가우시안 노이즈 볼륨을 연결하여 입력으로 사용하고, 3D U-Net 아키텍처를 통해 노이즈를 제거하는 방식으로, 평균 Dice 스코어 0.739를 달성하였다. 이는 2D 확산 모델(0.669)과 단일 모달리티 접근 방식(평균 Dice < 0.570)을 뛰어넘어, 다중 모달리티 3D 의료 영상 분할에서 뛰어난 정확도와 강건성을 입증한다.

ABSTRACT

Head and neck (H&N) cancers are among the most prevalent types of cancer worldwide, and [18F]F-FDG PET/CT is widely used for H&N cancer management. Recently, the diffusion model has demonstrated remarkable performance in various image-generation tasks. In this work, we proposed a 3D diffusion model to accurately perform H&N tumor segmentation from 3D PET and CT volumes. The 3D diffusion model was developed considering the 3D nature of PET and CT images acquired. During the reverse process, the model utilized a 3D UNet structure and took the concatenation of PET, CT, and Gaussian noise volumes as the network input to generate the tumor mask. Experiments based on the HECKTOR challenge dataset were conducted to evaluate the effectiveness of the proposed diffusion model. Several state-of-the-art techniques based on U-Net and Transformer structures were adopted as the reference methods. Benefits of employing both PET and CT as the network input as well as further extending the diffusion model from 2D to 3D were investigated based on various quantitative metrics and the uncertainty maps generated. Results showed that the proposed 3D diffusion model could generate more accurate segmentation results compared with other methods. Compared to the diffusion model in 2D format, the proposed 3D model yielded superior results. Our experiments also highlighted the advantage of utilizing dual-modality PET and CT data over only single-modality data for H&N tumor segmentation.

연구 동기 및 목표

• 두경부 종양의 정확한 자동 분할을 위해 [18F]F-FDG PET/CT 영상에서 3D 확산 모델을 개발하는 것.
• PET 및 CT 모달리티를 동시에 사용할 경우 종양 분할 정확도 향상에 기여하는지 평가하는 것.
• 체적 의료 영상 데이터 모델링에서 3D 연산이 2D 연산보다 성능 향상에 기여하는지 조사하는 것.
• 다중 모달리티 입력이 예측 불확실성을 줄이고 분할 신뢰도를 향상시키는 영향을 평가하는 것.
• 두경부 암을 초월하여 다른 의료 영상 분할 작업에 3D 확산 모델을 적용할 수 있는 기반을 마련하는 것.

제안 방법

• 역방향 노이즈 제거 과정을 갖춘 3D 확산 모델을 설계하였으며, 노이즈 제거 네트워크로 3D U-Net을 사용하였다.
• 추론 과정에서 네트워크의 입력은 각 역방향 단계에서 3D PET, CT 및 가우시안 노이즈 볼륨의 연결이었다.
• 모델은 5개의 국제 기관에서 수집한 224건의 구강인두암 병변을 포함하는 HECKTOR 2021 데이터셋에서 훈련되었다.
• 역방향 과정은 1000개의 시간 단계를 거쳐 입력 노이즈를 점진적으로 제거하며, 최종적으로 종양 분할 마스크를 복원하였다.
• 표준 평가 지표인 Dice, Hausdorff 거리, 민감도를 사용하여 정량적 평가를 수행하였으며, U-Net 및 Transformer 기반 기준 모델과의 비교 분석을 실시하였다.
• 예측의 불확실성을 다중 예측 생성을 통해 정량화하였으며, 이는 확률적 특성과 모델 신뢰도 분석에 기여하였다.

실험 결과

연구 질문

• RQ1 3D 확산 모델은 PET/CT 영상에서 두경부 종양 분할에 있어 2D 확산 모델보다 우수한 성능을 보일까?
• RQ2 PET 및 CT 모달리티를 동시에 통합할 경우 단일 모달리티 입력에 비해 분할 정확도 향상에 기여할 수 있을까?
• RQ3 3D 체적 모델링을 사용할 경우 2D 접근 방식에 비해 특징 학습 및 분할 성능 향상에 어떤 영향을 미칠까?
• RQ4 다중 모달리티 입력이 종양 분할 예측의 불확실성에 얼마나 기여하여 감소시킬 수 있을까?
• RQ5 3D 확산 프레임워크는 두경부 암 외 다른 해부학적 영역 및 종양 유형으로 일반화될 수 있을까?

주요 결과

• 제안된 3D 확산 모델은 평균 Dice 스코어 0.739를 달성하였으며, 이는 기존 최첨단 기법들(0.726 이하)을 뛰어넘는 유의미한 성능 향상이다.
• 3D 확산 모델은 0.739의 평균 Dice를 기록하였고, 2D 모델은 0.669로, 3D 체적 모델링의 우수성을 입증하였다.
• 단일 모달리티 분할(단독 PET 또는 CT 사용)의 경우 평균 Dice 스코어가 0.570 이하에 머물러, 다중 모달리티 융합의 유용성을 강조하였다.
• PET 및 CT 입력을 동시에 사용함으로써 예측 불확실성이 감소하였으며, 다중 전방 계산에서의 분산이 낮아짐으로써 이를 뒷받침하였다.
• RTX 8000 GPU에서 한 건당 약 14.7분의 추론 시간을 기록하였으며, 뛰어난 성능에도 불구하고 높은 계산 비용을 지닌 것으로 나타났다.
• 본 연구는 3D 확산 모델이 이 작업에서 전통적인 U-Net 및 Transformer 기반 모델보다 더 정확하고 신뢰도 높은 종양 분할 마스크를 생성할 수 있음을 확인하였다.