[論文レビュー] Vision Foundation Models for Computed Tomography

Suraj Pai, Ibrahim Hadžić+6 more|ArXiv.org|Jan 15, 2025

Advanced X-ray and CT Imaging被引用数 4

ひとこと要約

本論文はCT-FMを紹介する。ラベル非依存の対照学習を用いて148,000件のCTスキャンで事前学習した大規模3D CTファウンデーションモデルで、セグメンテーション、トリアージ、検索、意味理解タスクで高い性能を示す。解剖学的クラスタリング、頑健性、解釈性を強調し、オープンソースのウェイト、コード、データを提供する。

ABSTRACT

Foundation models (FMs) have shown transformative potential in radiology by performing diverse, complex tasks across imaging modalities. Here, we developed CT-FM, a large-scale 3D image-based pre-trained model designed explicitly for various radiological tasks. CT-FM was pre-trained using 148,000 computed tomography (CT) scans from the Imaging Data Commons through label-agnostic contrastive learning. We evaluated CT-FM across four categories of tasks, namely, whole-body and tumor segmentation, head CT triage, medical image retrieval, and semantic understanding, showing superior performance against state-of-the-art models. Beyond quantitative success, CT-FM demonstrated the ability to cluster regions anatomically and identify similar anatomical and structural concepts across scans. Furthermore, it remained robust across test-retest settings and indicated reasonable salient regions attached to its embeddings. This study demonstrates the value of large-scale medical imaging foundation models and by open-sourcing the model weights, code, and data, aims to support more adaptable, reliable, and interpretable AI solutions in radiology.

研究の動機と目的

• 放射線診断およびCT画像処理におけるファウンデーションモデルの利用を動機づける。
• ラベル非依存データで事前学習した大規模3D CTファウンデーションモデル（CT-FM）を開発する。
• CT-FMを多様な放射線診断タスクで評価し、性能と頑健性を確立する。
• CT-FM埋め込みの解剖学的クラスタリングと解釈可能性を示す。
• モデルウェイト、コード、データを公開してオープンサイエンスを促進する。

提案手法

• Imaging Data Commons からのCTスキャン 148,000 件を対象に大規模3D CTモデル（CT-FM）を事前学習する。
• ラベル非依存対照学習を用いてCT体積全体の表現を学習する。
• CT-FMを4つのタスクカテゴリで評価する：全身・腫瘍セグメンテーション、頭部CTトリアージ、医用画像検索、意味理解。
• 埋め込み空間を分析して解剖学的クラスタリングとスキャン間の概念類似性を評価する。
• テスト-再テスト設定での頑健性を評価し、埋め込みに関連する salient regions を特定する。
• 再現性と広範な利用を支援するため、モデルウェイト、コード、データをオープンソース化する。

実験結果

リサーチクエスチョン

• RQ1 ラベル非依存対照学習で訓練された3D CTファウンデーションモデルは、多様な放射線診断タスクで最先端またはそれを上回る性能を達成できるか。
• RQ2 CT-FMは解剖学的クラスタリングやスキャン間の概念類似性を含む頑健で解釈可能な埋め込みを示すか。
• RQ3 CT-FMの一般化と再現性はテスト-再テスト設定およびさまざまな臨床タスクでどうなるか。
• RQ4 CT-FMリソースのオープンソース化は再現性と下流の放射線AI開発にどのような影響を与えるか。

主な発見

• CT-FMはセグメンテーション、トリアージ、検索、意味理解タスクで最先端モデルと比較して優れた性能を達成する。
• モデル埋め込みは解剖学的にクラスタリングし、スキャン間で類似の概念を捉える。
• CT-FMはテスト-再テストシナリオで頑健性を示す。
• 埋め込みは意味のある解剖学的領域に対応する妥当な顕著性を示す。
• CT-FMのウェイト、コード、データをオープンソース化することは、より適応的で解釈可能な放射線AIの発展を支援する。