[論文レビュー] SegVol: Universal and Interactive Volumetric Medical Image Segmentation

Yuxin Du, Fan Bai+2 more|arXiv (Cornell University)|Nov 22, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 15

ひとこと要約

SegVol は、テキスト、ポイント、およびボックスのプロンプトとズームアウト-ズームイン機構を用いて、難易度の高いターゲットと病変を含む200以上の解剖カテゴリをセグメントする、対話式・普遍的な医療用体積画像セグメンテーションの基盤モデルです。

ABSTRACT

Precise image segmentation provides clinical study with instructive information. Despite the remarkable progress achieved in medical image segmentation, there is still an absence of a 3D foundation segmentation model that can segment a wide range of anatomical categories with easy user interaction. In this paper, we propose a 3D foundation segmentation model, named SegVol, supporting universal and interactive volumetric medical image segmentation. By scaling up training data to 90K unlabeled Computed Tomography (CT) volumes and 6K labeled CT volumes, this foundation model supports the segmentation of over 200 anatomical categories using semantic and spatial prompts. To facilitate efficient and precise inference on volumetric images, we design a zoom-out-zoom-in mechanism. Extensive experiments on 22 anatomical segmentation tasks verify that SegVol outperforms the competitors in 19 tasks, with improvements up to 37.24% compared to the runner-up methods. We demonstrate the effectiveness and importance of specific designs by ablation study. We expect this foundation model can promote the development of volumetric medical image analysis. The model and code are publicly available at: https://github.com/BAAI-DCAI/SegVol.

研究の動機と目的

• 多様なデータセットとカテゴリに跨る、普遍的で対話式な体積医療画像セグメンテーションの基盤モデルの必要性を動機づける。
• SegVol を大規模なラベルなし CT データとラベル付きマスクから学習させ、ゼロショットまたは少数ショットで多くの臓器、組織、病変を横断するセグメンテーションを可能にする。
• 意味情報（テキスト）と空間情報（点/ボックス）のプロンプトを統合してセグメンテーションを導き、難易度の高いターゲットでの精度を向上させる。
• 推論コストを削減しつつディテールを保持する計算効率の高いズームアウト-ズームインのフレームワークを導入する。
• 複数データセットで最新手法と比較して SegVol を評価し、設計選択を検証するアブレーションを実施する。

提案手法

• MAE を用いた 96k のラベルなし CT に対する Vision Transformer (ViT) 画像エンコーダの事前学習を行い、続いて 6k のラベル付き CT と 150k マスクで教師あり学習を行う。
• 解剖カテゴリ名をエンコードするために CLIP ベースのテキストプロンプトを使用し、200以上のターゲットに対するテキスト駆動型の普遍的セグメンテーションを実現する。
• 点とボックスのプロンプト用の空間プロンプトエンコーダを組み込み、意味的テキストプロンプトと共有プロンプト埋め込みで統合する。
• 自己注意・クロス注意を用いたマスクデコーダを実装し、画像とプロンプト埋め込みをブレンドして3Dマスクを生成する。
• 大規模体積を扱うため、グローバルな段階での推論から局所的な洗練を行うズームアウト-ズームインの訓練・推論スキームを採用する。
• 部分ラベル問題を緩和し一般化を高めるため、25個のオープンソースCTデータセットとFH生成の疑似マスクの結合データセットで訓練を行う。

Figure 1: An Overview of the model architecture of the proposed SegVol. a . The main structure of SegVol includes the image encoder, text encoder, prompt encoder, and mask decoder. All networks, except the text encoder, are learnable. The image encoder extracts the image embedding of volumetric inpu

実験結果

リサーチクエスチョン

• RQ1 SegVol は意味情報（テキスト）と空間情報（点/ボックス）のプロンプトを用いて200以上の解剖ターゲットをセグメンテーションできるか。
• RQ2 ズームアウト-ズームイン機構は高解像度での推定を計算量を抑えつつ正確に可能にするか。
• RQ3 nnU-Net のような従来手法と比較して、難しい病変セグメンテーションタスクで SegVol の性能はどうか。
• RQ4 大規模な事前学習と複数データセットでの訓練がセグメンテーションの頑健性と一般化に与える影響は何か。
• RQ5 プロンプトベース学習は、ラベル空間が異なる多様な CT データセットを統合する際にどれほど効果的か。

主な発見

• SegVol は 19 の主要ターゲットに対してデータセット間で平均 Dice スコア 83.02% を達成。
• 難しいセグメンテーションターゲット（例：腫瘍）で、SegVol は平均 Dice スコアで nnU-Net を約 14.76% 上回る。
• MSD-lung、MSD-colon、MSD-liver の病変セグメンテーションでは SegVol が平均 Dice スコアで nnU-Net を 19.58% 上回る。
• ズームアウト-ズームイン機構は定量的な利益を提供（例：肝臓腫瘍 Dice がズームイン洗練により 21.32% 改善）。
• テキストと空間プロンプトを組み合わせたプロンプトベース学習は、特に難易度の高いターゲットに対して、単一タイプのプロンプトよりセグメンテーション精度を著しく向上させる。
• SegVol は他のセグメンテーション手法に比べて軽量ながら、多くのターゲットに対して普遍的で正確な結果を提供する。

Figure 2: An overview and examples of the joint dataset. a , Overview of the joint dataset. The joint dataset comprises 47 important regions, with each region containing one or multiple significant anatomical structures within that spatial area. b , Main categories of the joint dataset: their mask l