[論文レビュー] PETWB-REP: A Dataset of Whole-body PET/CT Scans with Paired Radiology Reports

Yichi Zhang, Le Xue+6 more|ArXiv.org|Feb 20, 2025

Medical Imaging Techniques and Applications被引用数 4

ひとこと要約

論文はSegAnyPETを紹介する。PET画像のための3Dプロンプト可能なセグメンテーション基盤モデルで、PETS-5kデータセットで学習され、高品質および低品質のアノテーションからの堅牢な学習と、未知の臓器およびデータセットへの強いゼロショット一般化を実現する。

ABSTRACT

Positron Emission Tomography (PET) is a powerful molecular imaging tool that plays a crucial role in modern medical diagnostics by visualizing radio-tracer distribution to reveal physiological processes. Accurate organ segmentation from PET images is essential for comprehensive multi-systemic analysis of interactions between different organs and pathologies. Existing segmentation methods are limited by insufficient annotation data and varying levels of annotation, resulting in weak generalization ability and difficulty in clinical application. Recent developments in segmentation foundation models have shown superior versatility across diverse segmentation tasks. Despite the efforts of medical adaptations, these works primarily focus on structural medical images with detailed physiological structural information and exhibit limited generalization performance on molecular PET imaging. In this paper, we collect and construct PETS-5k, the largest PET segmentation dataset to date, comprising 5,731 three-dimensional whole-body PET images and encompassing over 1.3M 2D images. Based on the established dataset, we develop SegAnyPET, a modality-specific 3D foundation model for universal promptable segmentation from PET images. To issue the challenge of discrepant annotation quality, we adopt a cross prompting confident learning (CPCL) strategy with an uncertainty-guided self-rectification process to robustly learn segmentation from high-quality labeled data and low-quality noisy labeled data for promptable segmentation. Experimental results demonstrate that SegAnyPET can segment seen and unseen target organs using only one or a few prompt points, outperforming state-of-the-art foundation models and task-specific fully supervised models with higher accuracy and strong generalization ability for universal segmentation.

研究の動機と目的

• 低コントラストと境界が弱いPET画像のための堅牢で普遍的なセグメンテーションを動機づける。
• PET特有の基盤モデルを可能にする大規模な全身PETセグメンテーションデータセット（PETS-5k）を作成する。
• PET体積に適した3Dプロンプト可能セグメンテーションアーキテクチャを開発する。
• アノテーション品質のばらつきをノイズ耐性のある訓練戦略で対処する。
• 未知の臓器および外部PETデータセットへの強い一般化を示す。

提案手法

• これまでで最大級の3D PETセグメンテーションデータセットであるPETS-5kを構築する（5,731件のPET体積、>1.3Mの2Dスライス）。
• SegAnyPETを開発する。これは画像エンコーダー、プロンプトエンコーダー、マスクデコーダーを備えたモダリティ特化の3Dセグメンテーション基盤モデルである。
• PET画像から普遍的なセグメンテーションを実現するために、3Dアーキテクチャを再定式化して体積的コンテキストを活用する。
• 高品質（HQ）アノテーションとノイズの多い低品質（LQ）アノテーションから学習するために、クロスプロンプトイング確信学習（CPCL）を採用する。
• 不確実性ガイド付き自己整合を用いてノイズのあるラベルを精練し、LQデータでの訓練を改善する。
• HQ監視付き損失、CPCL整合性損失、整練されたLQ監視付き損失をブレンドする訓練目的を採用する。

実験結果

リサーチクエスチョン

• RQ1 SegAnyPETは最小限のプロンプトでPET画像の正確な普遍的セグメンテーションを達成できるか。
• RQ2 3D PET特化の基盤モデルは未知の臓器および分布外データセットへ一般化できるか。
• RQ3 不確実性ガイド付き整合でCPCLはHQおよびLQアノテーションからの学習でどう機能するか。

主な発見

Method	Prompt	Liver	Kidney-L	Kidney-R	Heart	Spleen	Avg
SAM	1 point	26.55	9.38	9.10	14.44	6.30	13.15
MedSAM	1 point	0.25	0.19	1.32	0.27	0.27	0.46
SAM-Med3D	1 point	51.63	21.01	19.17	60.11	25.41	35.46
SAM-Med3D-organ	1 point	80.25	44.70	35.76	74.00	69.23	60.79
SAM-Med3D-turbo	1 point	79.46	66.95	72.81	73.03	68.19	72.09
SegAnyPET	1 point	93.06	89.84	90.61	88.29	90.67	90.49
SAM	3N points	43.85	23.21	22.16	29.09	11.83	26.03
MedSAM	3N points	26.59	28.86	28.98	18.82	32.96	27.24
SAM-Med3D	3 points	62.15	28.21	31.19	61.44	27.07	42.01
SAM-Med3D-organ	3 points	84.82	47.33	48.57	75.85	74.60	66.23
SAM-Med3D-turbo	3 points	84.11	74.05	76.17	75.24	73.34	76.58
SegAnyPET	3 points	93.36	90.25	90.95	88.86	91.10	90.90
SAM	5N points	54.49	47.16	37.42	42.19	18.79	40.01
MedSAM	5N points	36.53	37.53	39.22	24.71	41.30	35.86
SAM-Med3D	5 points	61.05	31.05	31.98	61.88	29.75	43.14
SAM-Med3D-organ	5 points	85.52	49.56	54.40	76.30	75.13	68.18
SAM-Med3D-turbo	5 points	85.56	76.74	78.08	76.16	75.20	78.35
SegAnyPET	5 points	93.42	90.39	91.24	88.95	91.22	91.05

• SegAnyPETはゼロショットのプロンプト可能PETセグメンテーションにおいて最先端のセグメンテーション基盤モデルおよびタスク特化モデルを大幅に上回る。
• 1点プロンプトで、SegAnyPETは seen organs（肝臓、腎L、腎R、心臓、脾臓）で平均DSCが約90%以上を達成（表1）、3点で同等のスコア、5点で高い性能を維持。
• SegAnyPETは見えない訓練用臓器への強い一般化と、AutoPET-Organ外部データセットへの一般化を示す（例：表3の結果）。
• CPCLの整合正則化と不確実性ガイド付きラベル整合が、ノイズの多いLQアノテーションからの学習を改善する（表4の消去実験）。
• PETS-5kは現時点で最大級の公開3D PETセグメンテーションデータセットであり、強力な性能を持つPET専用セグメンテーション基盤モデルを実現した初の試みである。
• 本アプローチは、正確なセグメンテーションを達成するために効率的なプロンプト（1点または少数点）を強調し、手動労力を削減する。