[論文レビュー] CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios

Jingyang Lin, Yingda Xia+6 more|arXiv (Cornell University)|Apr 23, 2024

Radiomics and Machine Learning in Medical ImagingMedicine被引用数 3

ひとこと要約

CT-GLIPは、臓器レベルの画像・テキストペアと異常辞書を用いて対照的学習を強化することで、全身CTスキャンおよび放射線科レポート向けに、新しい3次元の視覚言語事前学習フレームワークを提案する。この手法は、臓器および異常認識において、ゼロショットおよび微調整性能をSOTA水準にまで向上させ、非対照的CTスキャンにおけるがん検出のAUCで、vanilla CLIPを最大7.7%上回る。

ABSTRACT

3D medical vision-language (VL) pretraining has shown potential in radiology by leveraging large-scale multimodal datasets with CT-report pairs. However, existing methods primarily rely on a global VL alignment directly adapted from 2D scenarios. The entire 3D image is transformed into one global embedding, resulting in a loss of sparse but critical semantics essential for accurately aligning with the corresponding diagnosis. To address this limitation, we propose CT-GLIP, a 3D Grounded Language-Image Pretrained model that constructs fine-grained CT-report pairs to enhance extit{grounded} cross-modal contrastive learning, effectively aligning grounded visual features with precise textual descriptions. Leveraging the grounded cross-modal alignment, CT-GLIP improves performance across diverse downstream tasks and can even identify organs and abnormalities in a zero-shot manner using natural language. CT-GLIP is trained on a multimodal CT dataset comprising 44,011 organ-level CT-report pairs from 17,702 patients, covering 104 organs. Evaluation is conducted on four downstream tasks: zero-shot organ recognition (OR), zero-shot abnormality detection (AD), tumor detection (TD), and tumor segmentation (TS). Empirical results show that it outperforms its counterparts with global VL alignment. Compared to vanilla CLIP, CT-GLIP achieves average performance improvements of 15.1% of F1 score, 1.9% of AUC, and 3.2% of DSC for zero-shot AD, TD, and TS tasks, respectively. This study highlights the significance of grounded VL alignment in enabling 3D medical VL foundation models to understand sparse representations within CT scans.

研究の動機と目的

• 2次元画像からの医療視覚言語事前学習（Med-VLP）を、データスパarsityと表現の課題により未だ十分に調査が進んでいないが、臨床的により重要で複雑な3次元全身CTスキャンへと拡張すること。
• 疎な3次元視覚表現と正確なテキスト記述との間のアライメントの難しさに対処するため、臓器レベルのグランド付き画像・テキストペアを導入すること。
• 異常辞書を用いて、対照的学習におけるネガティブな対照ペアの多様性と可用性を高め、3次元Med-VLPにおける表現学習を改善すること。
• 複数の臓器およびがん種において、臓器分類、異常検出、腫瘍セグメンテーションの分野で、ゼロショットおよび微調整のシナリオにおいて、グランド付き画像・テキストアライメントの有効性を検証すること。
• 104の臓器をカバーする17,702例の患者から得られた44,011の臓器レベルの画像・レポートペアを用いて、3次元Med-VLPのベンチマークデータセットおよび評価プロトコルを確立すること。

提案手法

• TotalSegmentatorを用いて3次元CTスキャン内の104の臓器をセグメンテーションすることで、正確な視覚的・言語的グランド付きの臓器レベルの画像・テキストペアを構築する。
• LLaMA-2を用いてレポートを解析し、手動による検証を加えることで、臓器固有の診断記述を抽出し、簡潔でグランド付きのテキストコンポonentを生成する。
• 2つの対照的学習目的を導入する：基本的な解剖学的概念理解のための臓器・テキストアライメント、および病理学的所見のゼロショット検出のための異常・テキストアライメント。
• 異常辞書を構築することで、多様なネガティブなテキスト記述を生成し、対照ペアの数と多様性を増やし、表現学習を向上させる。
• CNNおよびビジョントランスフォーマー（ViT）バックボーンを用いて、マルチモodal対照的損失で訓練し、腫瘍セグメンテーションやがんスクリーニングなどの下流タスクへの転移を可能にする。
• nnUNetバックボーンを用いた700例の非対照的CTスキャンと組織所見で確認された腫瘍マスクを含む専用のがんスクリーニングデータセットで微調整を行い、モデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 臓器レベルの画像・テキストペアを用いたグランド付き3次元視覚言語事前学習は、全身CTスキャンにおける臓器および異常認識のゼロショット認識性能を向上させることができるか？
• RQ2 限られたトレーニングサンプルの状況下でも、異常辞書の使用が3次元Med-VLPにおける対照的学習をどのように向上させるか？
• RQ3 本研究で提案するCT-GLIPフレームワークは、3次元医療画像におけるゼロショットおよび微調整設定において、標準的な全体画像レポートアライメントおよびvanilla CLIPを上回る性能を示すか？
• RQ4 CT-GLIPは、非対照的CTスキャンにおける腫瘍セグメンテーションや検出といった、多臓器のがんスクリーニングタスクの下流性能をどの程度向上させられるか？
• RQ5 自然言語記述を用いて、ゼロショットで稀なまたは未確認の異常をモデルが一般化して正しく識別できるか？

主な発見

• CT-GLIPは、1,130例のテスト患者データセットにおいて、ViTベースの設定で2.63%高い71.90%のゼロショット異常検出F1スコアを達成し、vanilla CLIPを上回った。
• 腫瘍セグメンテーションの微調整において、CT-GLIPは、スクラッチからの学習に比べて平均Diceスコアを4.8%向上させ、nnUNetバックボーンを用いたvanilla CLIPでの微調整に比べて1.3%向上させた。
• がんスクリーニングにおいて、CT-GLIPは、スクラッチからの学習に比べて平均AUCスコアで7.4%高く、nnUNetバックボーンを用いたvanilla CLIPでの微調整に比べて2.2%向上させた。
• MiTベースのバックボーンでは、CT-GLIPがスクラッチからの学習に比べて平均腫瘍セグメンテーションDiceスコアを13.1%向上させ、vanilla CLIPでの微調整に比べて5.1%向上させた。
• がん検出において、CT-GLIPは、スクラッチからの学習に比べて平均AUCを7.7%高く、MiTバックボーンを用いたvanilla CLIPでの微調整に比べて1.6%向上させた。
• モデルは強力なゼロショット一般化性能を示し、微調整なしに自然言語プロンプトのみを用いて86.24%のケースで臓器および異常を正しく識別した。