[論文レビュー] CLIP-Driven Universal Model for Organ Segmentation and Tumor Detection

Jie Liu, Yixiao Zhang+8 more|arXiv (Cornell University)|Jan 2, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 18

ひとこと要約

CLIP を用いた普遍モデルが解剖学的関係をテキスト埋め込みでエンコードして25の臓器をセグメント化し、14の公開データセットで6つの腫瘍タイプを検出、最先端の結果と強い一般化を達成。

ABSTRACT

An increasing number of public datasets have shown a marked impact on automated organ segmentation and tumor detection. However, due to the small size and partially labeled problem of each dataset, as well as a limited investigation of diverse types of tumors, the resulting models are often limited to segmenting specific organs/tumors and ignore the semantics of anatomical structures, nor can they be extended to novel domains. To address these issues, we propose the CLIP-Driven Universal Model, which incorporates text embedding learned from Contrastive Language-Image Pre-training (CLIP) to segmentation models. This CLIP-based label encoding captures anatomical relationships, enabling the model to learn a structured feature embedding and segment 25 organs and 6 types of tumors. The proposed model is developed from an assembly of 14 datasets, using a total of 3,410 CT scans for training and then evaluated on 6,162 external CT scans from 3 additional datasets. We rank first on the Medical Segmentation Decathlon (MSD) public leaderboard and achieve state-of-the-art results on Beyond The Cranial Vault (BTCV). Additionally, the Universal Model is computationally more efficient (6x faster) compared with dataset-specific models, generalized better to CT scans from varying sites, and shows stronger transfer learning performance on novel tasks.

研究の動機と目的

• 複数の公開腹部データセット全体で部分ラベル付けとラベルの不整合に対処する。
• CLIP テキスト埋め込みを活用して解剖学的関係をエンコードし、セグメンテーションと腫瘍検出を改善する。
• 複数のバックボーンをサポートし、ファインチューニングなしで外部CTスキャンへ一般化する普遍モデルアーキテクチャを開発する。
• MSDおよびBTCVのベンチマークで最先端の性能を示し、下流タスクへの転移性を提供する。

提案手法

• 25の部分的にアノテーションされた臓器と6つの腫瘍を含む3,410のCTスキャンを合算した14の公開データセットを作成する。
• CLIPベースのテキスト埋め込みを解剖学的プロンプトとして使用し、1-hotラベルを置換してセグメンテーションをガイドする。
• CLIP 埋め込みとグローバル画像特徴量を条件づけるMLP を介してクラス固有パラメータを生成するテキスト分岐を構築する。
• 標準化された前処理を適用してCTスキャンを処理し、ビジョンエンコーダの後に1x1x1 conv ベースのテキスト駆動セグメンタを適用する。
• 部分ラベル付きデータでラベルが利用可能なクラスのみを訓練するマスク付き逆伝播を実装する。
• Dice Similarity Coefficient (DSC)、Normalized Surface Distance (NSD)、感度、特異度、腫瘍検出の調和平均で評価する。

実験結果

リサーチクエスチョン

• RQ1 CLIP-based ラベル埋め込みは解剖学的関係を捉え、部分的にラベリングされたデータセット間での多臓器セグメンテーションと腫瘍検出を改善できるか。
• RQ2 テキストプロンプトを活用する普遍モデルは、データセット特有のモデルと比べて外部CTデータや多様なスキャナーへより良く一般化できるか。
• RQ3 部分ラベルとデータ不一致で学習にマスク付き逆伝播がどのように影響するか。
• RQ4 セグメンテーション性能に対するCLIP埋め込みへ与える異なる医療プロンプトの影響はどうなるか。
• RQ5 普遍モデルは下流の医用画像タスクの効果的な基盤モデルとなり得るか。

主な発見

• CLIP-Driven Universal ModelはMSDおよびBTCVベンチマークで最先端の性能を達成する。
• モデルは6臓器の臓器セグメンテーション精度を高く示し、内部観察者のばらつきと一致する。
• 腫瘍検出は高い調和平均を達成し、感度が高く偽陽性が低いことを示す。
• データセット特異モデルより推論が約6倍高速で、効率性に優れる。
• フレームワークは追加の調整なしで様々な病院のCTスキャンへ一般化し、バックボーンはCNNとTransformer間で入れ替え可能。
• External validation shows robust generalizability on 3D-IRCADb and JHH datasets, outperforming prior methods.