[논문 리뷰] PETWB-REP: A Dataset of Whole-body PET/CT Scans with Paired Radiology Reports

Yichi Zhang, Le Xue외 6명|ArXiv.org|2025. 02. 20.

Medical Imaging Techniques and Applications인용 수 4

한 줄 요약

이 논문은 PET 이미지용 3D 프롬프트 가능한 분할 기초 모델 SegAnyPET를 소개하며, PETS-5k 데이터셋에서 학습되었고, 고품질/저품질 주석으로부터의 견고한 학습과 미지의 장기 및 데이터셋에 대한 강한 일반화 능력을 보여준다.

ABSTRACT

Positron Emission Tomography (PET) is a powerful molecular imaging tool that plays a crucial role in modern medical diagnostics by visualizing radio-tracer distribution to reveal physiological processes. Accurate organ segmentation from PET images is essential for comprehensive multi-systemic analysis of interactions between different organs and pathologies. Existing segmentation methods are limited by insufficient annotation data and varying levels of annotation, resulting in weak generalization ability and difficulty in clinical application. Recent developments in segmentation foundation models have shown superior versatility across diverse segmentation tasks. Despite the efforts of medical adaptations, these works primarily focus on structural medical images with detailed physiological structural information and exhibit limited generalization performance on molecular PET imaging. In this paper, we collect and construct PETS-5k, the largest PET segmentation dataset to date, comprising 5,731 three-dimensional whole-body PET images and encompassing over 1.3M 2D images. Based on the established dataset, we develop SegAnyPET, a modality-specific 3D foundation model for universal promptable segmentation from PET images. To issue the challenge of discrepant annotation quality, we adopt a cross prompting confident learning (CPCL) strategy with an uncertainty-guided self-rectification process to robustly learn segmentation from high-quality labeled data and low-quality noisy labeled data for promptable segmentation. Experimental results demonstrate that SegAnyPET can segment seen and unseen target organs using only one or a few prompt points, outperforming state-of-the-art foundation models and task-specific fully supervised models with higher accuracy and strong generalization ability for universal segmentation.

연구 동기 및 목표

• 대조가 낮고 경계가 약한 PET 이미지에 대해 견고하고 보편적인 분할을 촉진한다.
• PET 특화 기초 모델을 가능하게 하기 위해 대규모 전신 PET 분할 데이터셋(PETS-5k)을 만든다.
• PET 부피에 맞춘 3D 프롬프트 가능한 분할 아키텍처를 개발한다.
• 주석 품질의 가변성을 노이즈 강인한 학습 전략으로 해결한다.
• 보지 못한 장기와 외부 PET 데이터셋에 대한 강한 일반화를 입증한다.

제안 방법

• PETS-5k, 5,731 PET 볼륨, >1.3M 2D 슬라이스로 구성된 현재까지 가장 큰 3D PET 분할 데이터셋을 구축한다.
• SegAnyPET을 영상 인코더, 프롬프트 인코더, 마스크 디코더를 갖춘 모달리티 특화 3D 분할 기초 모델로 개발한다.
• PET 영상에서의 보편적 분할을 위해 부피 맥락을 활용하는 3D 아키텍처를 재구성한다.
• HQ(고품질) 주석과 LQ(저품질) 노이즈 주석으로부터 학습하기 위해 CPCL(교차 프롬프트 신뢰 학습)을 채택한다.
• 노이즈가 있는 LQ 주석의 학습을 개선하고 훈련을 보완하기 위해 불확실성 주도 자기 보정(self-rectification)을 사용한다.
• HQ 지도 손실, CPCL 일관성 손실, 보정된 LQ 지도 손실을 혼합한 학습 목표를 사용한다.]

실험 결과

연구 질문

• RQ1 SegAnyPET가 최소한의 프롬프트로 PET 이미지에서 정확한 보편적 분할을 달성할 수 있는가?
• RQ2 3D PET 특화 기초 모델이 보지 못한 장기 및 분포 외 데이터에 일반화되는가?
• RQ3 불확실성 가이드 보정을 통한 CPCL이 고품질과 저품질 주석으로부터 학습할 때 어떤 성능을 보이는가?

주요 결과

방법	프롬프트	Liver	Kidney-L	Kidney-R	Heart	Spleen	Avg
SAM	1 point	26.55	9.38	9.10	14.44	6.30	13.15
MedSAM	1 point	0.25	0.19	1.32	0.27	0.27	0.46
SAM-Med3D	1 point	51.63	21.01	19.17	60.11	25.41	35.46
SAM-Med3D-organ	1 point	80.25	44.70	35.76	74.00	69.23	60.79
SAM-Med3D-turbo	1 point	79.46	66.95	72.81	73.03	68.19	72.09
SegAnyPET	1 point	93.06	89.84	90.61	88.29	90.67	90.49
SAM	3N points	43.85	23.21	22.16	29.09	11.83	26.03
MedSAM	3N points	26.59	28.86	28.98	18.82	32.96	27.24
SAM-Med3D	3 points	62.15	28.21	31.19	61.44	27.07	42.01
SAM-Med3D-organ	3 points	84.82	47.33	48.57	75.85	74.60	66.23
SAM-Med3D-turbo	3 points	84.11	74.05	76.17	75.24	73.34	76.58
SegAnyPET	3 points	93.36	90.25	90.95	88.86	91.10	90.90
SAM	5N points	54.49	47.16	37.42	42.19	18.79	40.01
MedSAM	5N points	36.53	37.53	39.22	24.71	41.30	35.86
SAM-Med3D	5 points	61.05	31.05	31.98	61.88	29.75	43.14
SAM-Med3D-organ	5 points	85.52	49.56	54.40	76.30	75.13	68.18
SAM-Med3D-turbo	5 points	85.56	76.74	78.08	76.16	75.20	78.35
SegAnyPET	5 points	93.42	90.39	91.24	88.95	91.22	91.05

• SegAnyPET는 제로샷 프롬프트 가능 PET 분할에서 최첨단 분할 기초 모델 및 태스크 특화 모델보다 상당히 우수한 성능을 보인다.
• 하나의 포인트 프롬프트로 역시 보이는 장기에 대해 평균 DSC가 약 90%대 초반 이상(Liver, Kidney-L, Kidney-R, Heart, Spleen)에서 나타나며, 3포인트는 비슷한 점수, 5포인트는 여전히 높은 성능을 유지한다.
• SegAnyPET는 훈련 데이터에서 보지 못한 장기 및 AutoPET-Organ 외부 데이터셋에 대한 강한 일반화를 보인다(예: 표 3 결과).
• CPCL의 일관성 규제 및 불확실성 기반 라벨 보정이 노이즈가 있는 LQ 주석으로부터의 학습을 개선한다(표 4 감소실험).
• PETS-5k는 현재까지 공개된 가장 큰 3D PET 분할 데이터셋으로, 강력한 성능의 PET 집중 분할 기초 모델을 가능하게 한다.
• 이 접근법은 정확한 분할을 달성하기 위해 한 개 또는 소수의 프롬프트를 강조하고 수작업 노력을 줄인다.