[論文レビュー] Generative Text-Guided 3D Vision-Language Pretraining for Unified Medical Image Segmentation

Yinda Chen, Che Liu+4 more|arXiv (Cornell University)|Jun 7, 2023

Multimodal Machine Learning Applications被引用数 18

ひとこと要約

GTGMは3D画像から合成医療テキストを作成して視覚-言語事前学習を監督し、ペア済みテキストなしで3D医用画像セグメンテーションを可能にし、CT、MRI、EMデータセットで優れた結果を達成する。

ABSTRACT

Vision-Language Pretraining (VLP) has demonstrated remarkable capabilities in learning visual representations from textual descriptions of images without annotations. Yet, effective VLP demands large-scale image-text pairs, a resource that suffers scarcity in the medical domain. Moreover, conventional VLP is limited to 2D images while medical images encompass diverse modalities, often in 3D, making the learning process more challenging. To address these challenges, we present Generative Text-Guided 3D Vision-Language Pretraining for Unified Medical Image Segmentation (GTGM), a framework that extends of VLP to 3D medical images without relying on paired textual descriptions. Specifically, GTGM utilizes large language models (LLM) to generate medical-style text from 3D medical images. This synthetic text is then used to supervise 3D visual representation learning. Furthermore, a negative-free contrastive learning objective strategy is introduced to cultivate consistent visual representations between augmented 3D medical image patches, which effectively mitigates the biases associated with strict positive-negative sample pairings. We evaluate GTGM on three imaging modalities - Computed Tomography (CT), Magnetic Resonance Imaging (MRI), and electron microscopy (EM) over 13 datasets. GTGM's superior performance across various medical image segmentation tasks underscores its effectiveness and versatility, by enabling VLP extension into 3D medical imagery while bypassing the need for paired text.

研究の動機と目的

• 視覚-言語事前学習のための専門家作成の3D医用画像-テキストペアへの依存を減らす動機付け。
• モダリティ間・種を超えた一般表現を学習する3D VLPフレームワークを開発する。
• LLMによって生成された合成の生物医学風テキストを用いて3D視覚学習を監督する。
• 3Dサンプルのバイアスを緩和するために、ネガティブフリーの特徴量レベルの対照学習目的を導入する。
• 異なるラベル比を持つCT、MRI、EMデータセットにおいて高い下流セグメンテーション性能を示す。

提案手法

• MedICATにファインチューニングされたBLIPベースのジェネレータを用いて、3D医用画像を説明する合成医療テキストを生成し、生物医学風キャプションを作成する。
• 3Dボリュームを、合成された2Dスライス由来のテキストとペアリングして、事前学習用の画像-テキストペアを形成する。
• 固定されたテキストエンコーダ（BioBERT）と、2つの非線形プロジェクターを備えたビジュアルエンコーダを用いて、画像とテキスト埋め込みの間でクロスモーダル対照学習（InfoNCE）を行う。
• 明示的なネガティブサンプルに依存せず、分離された不変な3D視覚表現を学習するために、ネガティブフリーの特徴-wise交差相関損失を採用する。
• VLP損失と、潜在特徴次元ごとの情報を最大化するために潜在表現次元をデコレレートする視覚表現損失を組み合わせる。

Figure 1: Comparison between our proposed approach and mainstream self-supervised learning (SSL) methods, where $X$ and $T$ represent images and text, respectively. (a)Image-only SSL with augmented views. (b) Pretraining with paired images and corresponding text. (c) Our GTGM framework pretrained wi

実験結果

リサーチクエスチョン

• RQ1 3D医用画像から生成された合成テキストは、実際の画像-テキストペアなしで効果的な視覚-言語事前学習を導くことができるか。
• RQ2 専門家のアノテーションなしで、CT・MRI・EMモダリティ間および種間で3D VLP手法は一般化するか。
• RQ3 ネガティブフリーの特徴-wise対照学習目的は、3Dサンプルペアリングに内在するバイアスを低減し、セグメンテーション性能を改善するか。

主な発見

• GTGMは3データセット・2設定にわたるEMニューロンセグメンテーションで最先端の結果を達成。
• GTGMはCTおよびMRIのセグメンテーションタスクで高い性能を発揮し、いくつかのSSLベースラインを上回る。
• 合成テキスト誘導VLPは堅牢な3D表現を実現し、モダリティ横断のゼロテキストまたはテキスト誘導の下流セグメンテーションをサポートする。
• アブレーション研究は、GTGMの全コンポーネントを組み合わせると下流性能が最も良く、視覚-テキスト不変性が小さくてまばらな構造を補助し、視覚不変性が密で大規模なセグメンテーションを有利にすることを示す。
• 本手法は種を超えた多様な臓器ターゲットにも有効で、3D医療VLPの広範な一般化を示している。

Figure 2: (a) The pipeline of GTGM, where we perform random cropping on medical images and utilize a pretrained generator to generate corresponding text. GTGM parallel learns visual invariants (feature-wise) and visual-textual invariants (instance-wise). (b) The finetuning process, where we employ t