[論文レビュー] RadGPT: Constructing 3D Image-Text Tumor Datasets

Pedro R. A. S. Bassi, Mehmet Can Yavuz+8 more|arXiv (Cornell University)|Jan 8, 2025

Radiomics and Machine Learning in Medical Imaging被引用数 3

ひとこと要約

RadGPT は AbdomenAtlas 3.0 を作成する。これは体素ごとの腫瘍注釈とレポートを含む大規模な3D腹部CT画像-テキストデータセットで、解剖学認識のビジョン-言語エージェントがCTスキャンから構造化・叙述的・融合レポートを生成する。

ABSTRACT

With over 85 million CT scans performed annually in the United States, creating tumor-related reports is a challenging and time-consuming task for radiologists. To address this need, we present RadGPT, an Anatomy-Aware Vision-Language AI Agent for generating detailed reports from CT scans. RadGPT first segments tumors, including benign cysts and malignant tumors, and their surrounding anatomical structures, then transforms this information into both structured reports and narrative reports. These reports provide tumor size, shape, location, attenuation, volume, and interactions with surrounding blood vessels and organs. Extensive evaluation on unseen hospitals shows that RadGPT can produce accurate reports, with high sensitivity/specificity for small tumor (<2 cm) detection: 80/73% for liver tumors, 92/78% for kidney tumors, and 77/77% for pancreatic tumors. For large tumors, sensitivity ranges from 89% to 97%. The results significantly surpass the state-of-the-art in abdominal CT report generation. RadGPT generated reports for 17 public datasets. Through radiologist review and refinement, we have ensured the reports' accuracy, and created the first publicly available image-text 3D medical dataset, comprising over 1.8 million text tokens and 2.7 million images from 9,262 CT scans, including 2,947 tumor scans/reports of 8,562 tumor instances. Our reports can: (1) localize tumors in eight liver sub-segments and three pancreatic sub-segments annotated per-voxel; (2) determine pancreatic tumor stage (T1-T4) in 260 reports; and (3) present individual analyses of multiple tumors--rare in human-made reports. Importantly, 948 of the reports are for early-stage tumors.

研究の動機と目的

• 公に公開されている腹部CTデータセットで、体素ごとの腫瘍注釈と実際の放射線科レポートが欠如している点を是正する。
• CTスキャンから詳細な構造化レポートと叙述的レポートを生成する解剖学認識のビジョン-言語エージェント、RadGPT を開発する。
• 3DCTにおける体素ごとの腫瘍注釈、臓器サブセグメンテーション、膵癌ステージングを含む最初の公的データセット AbdomenAtlas 3.0 を作成する。
• 放射線科のテンプレートと施設の様式に整合する自動レポート生成を実現し、診断評価指標を提供する。
• 腫瘍の局在化・測定・ステージング、構造化レポートと人間作成レポートの融合のベンチマークとフレームワークを提供する。

提案手法

• Stage I: DiffTumor と nnU-Net による腫瘍および26の解剖学的構造のセグメンテーションと放射線科医主導のリファインメント。
• Stage II: セグメンテーションと導出測定値（サイズ、体積、減衰）を用いて放射線科医テンプレートを埋める決定論的ルールベースのアルゴリズムによる構造化レポート生成。
• Stage III: 対象病院のプロンプトセットを用いた文脈内学習による対象機関の叙述スタイルへの構造化レポートのスタイル適応。
• Fusion レポート: 構造化レポートと臨床ノートを統合するためにゼロショットLLMをプロンプトして融合レポートを作成。
• AI 作成レポートの診断評価: LLM を用いて腫瘍の有無を抽出し感度・特異度を算出し、臨床的に意味のある評価を可能にする。
• 膵癌ステージングは腫瘍と血管（SMA, CHA, CA, portal vein）との相互作用を測定し、決定論的な血管-腫瘍解析から T-stages を導出することにより実現。

実験結果

リサーチクエスチョン

• RQ1 RadGPT は per-voxel 腹部CT腫瘍注釈から正確で施設適応可能な構造化および叙述レポートを生成できるか。
• RQ2 セグメンテーション駆動のレポート生成アプローチは、腫瘍検出とステージングにおいてエンドツーエンドの腹部CTレポートモデルを上回るか。
• RQ3 テキスト類似性を超えた臨床的に意味のある指標を用いてAI 作成放射線レポートを評価するにはどうすればよいか。
• RQ4 Per-voxel 膵臓サブセグメント、周膵血管、PDAC ステージングを公的データセットとして提供する AbdomenAtlas 3.0 はどんな価値をもたらすか。

主な発見

Model	Sensitivity (%) (LiverHCC)	Specificity (%) (LiverHCC)	Sensitivity (%) (PancreasPDAC)	Specificity (%) (PancreasPDAC)	Sensitivity (%) (KidneyRCC)	Specificity (%) (KidneyRCC)	Sensitivity (%) (CRC Liver Mets)	Specificity (%) (CRC Liver Mets)
CT2Rep	0.0 (0/301)	100.0 (244/244)	10.0 (22/219)	98.0 (239/244)	3.8 (4/105)	96.7 (236/244)	9.4 (2/21)	98.1 (155/158)
M3D	14.6 (44/301)	88.9 (217/244)	9.1 (20/219)	92.6 (226/244)	4.8 (5/105)	96.3 (235/244)	12.1 (7/58)	85.4 (135/158)
RadGPT (ours)	89.4 (269/301)	73.4 (179/244)	97.3 (213/219)	78.3 (191/244)	91.4 (96/105)	76.6 (187/244)	100.0 (58/58)	70.3 (111/158)

• RadGPT は肝臓HCC、膵臓PDAC、腎臓RCC、肝転移における腫瘍検出でエンドツーエンドの腹部CTレポートモデルを上回る。
• 完全自動の RadGPT レポートは腫瘍検出の感度が高く、M3D および CT2Rep のベースラインより特異度が同等または良好。
• AbdomenAtlas 3.0 は3つの臓器にまたがる腫瘍注釈を含む9,262件のCTスキャンを提供し、膵臓のサブセグメントとPDACステージングを含む。
• RadGPT は自動 PDAC T-staging を実現し、ステージングをサポートする臓器・血管の体素レベル注釈を提供。
• 放射線科医の評価では、RadGPT の腫瘍検出精度は 75.6%、腫瘍サイズ測定の精度は 93.8%（評価ケース全体で）である。