[論文レビュー] Utilizing Synthetic Data for Medical Vision-Language Pre-training: Bypassing the Need for Real Images

Che Liu, Anand Shah+2 more|arXiv (Cornell University)|Oct 10, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本論文は、実際のレントゲンレポートからドメイン固有の拡散モデルを用いて生成された合成胸部X線画像に限定して医療視覚言語モデルを訓練する手法を提案し、分類、セグメンテーション、検出の各タスクにおいて、実画像を用いた事前学習と同等またはそれを上回る性能を示した。主な貢献は、プライバシーを守りながらスケーラブルに事前学習が可能な、大規模な合成医療画像データセットと匿名化されたレポートの組み合わせを提供することである。

ABSTRACT

Medical Vision-Language Pre-training (VLP) learns representations jointly from medical images and paired radiology reports. It typically requires large-scale paired image-text datasets to achieve effective pre-training for both the image encoder and text encoder. The advent of text-guided generative models raises a compelling question: Can VLP be implemented solely with synthetic images generated from genuine radiology reports, thereby mitigating the need for extensively pairing and curating image-text datasets? In this work, we scrutinize this very question by examining the feasibility and effectiveness of employing synthetic images for medical VLP. We replace real medical images with their synthetic equivalents, generated from authentic medical reports. Utilizing three state-of-the-art VLP algorithms, we exclusively train on these synthetic samples. Our empirical evaluation across three subsequent tasks, namely image classification, semantic segmentation and object detection, reveals that the performance achieved through synthetic data is on par with or even exceeds that obtained with real images. As a pioneering contribution to this domain, we introduce a large-scale synthetic medical image dataset, paired with anonymized real radiology reports. This alleviates the need of sharing medical images, which are not easy to curate and share in practice. The code and the dataset can be found in \href{https://github.com/cheliu-computation/MedSyn-RepLearn/tree/main}{https://github.com/cheliu-computation/MedSyn-RepLearn/tree/main}.

研究の動機と目的

• 実際のペaired画像を必要とせずに、実際のレントゲンレポートから生成された合成医療画像のみを用いて、医療視覚言語事前学習（VLP）を効果的に行うことができるかどうかを調査すること。
• 医療VLPにおけるデータ不足とプライバシーの課題に応えるために、臨床的意味を保持した高精細な合成画像を生成すること。
• 複数の下流タスク、特に画像分類、セマンティックセグメンテーション、オブジェクト検出において、合成データで事前学習されたVLPモデルの性能を評価すること。
• 将来的な研究を支援するため、公開可能な大規模な合成医療画像データセットと匿名化された実レントゲンレポートの組み合わせを提供すること。
• 一般ドメイン（Stable Diffusion）と医療ドメイン特化型（RoentGen）の生成モデルの有効性を比較すること。

提案手法

• テキスト誘導型画像生成に、一般ドメイン用のStable Diffusion 2.1と医療ドメイン特化型のRoentGenの2つのモデルを用い、レントゲンレポートの印象文をプロンプトとして使用する。
• 一貫性と1対1の対応を保つために、512×512解像度で50ステップのサンプリングと固定されたランダムシードを用いて合成画像を生成する。
• 視覚言語対照的事前学習は、ConVIRT、GLoRIA、MGCAの3つの最先端のVLPフレームワークを用い、実際のテキストとペアになった合成画像のみで実施する。
• 画像エンコーダーとテキストエンコーダーを同時に最適化する対照学習の目的関数を用いて、画像とテキストの埋め込みを一致させる。
• 3つの下流タスク（画像分類（SIIM-ACR）、セマンティックセグメンテーション（RSNA）、オブジェクト検出（RSNAおよびObject-CXR））で評価を行い、学習データの1%、10%、100%を用いる。
• 実画像で事前学習されたベースラインと、両方の生成モデルから得た合成画像で事前学習されたモデルとを比較し、DiceスコアとmAPを指標とする。

Figure 1: A) Conventional VLP pipeline with real image-text pair. B) Our VLP framework with synthetic image and real medical text. We select SD 2.1 and RoentGen [ 18 ] as the generator in this work.

実験結果

リサーチクエスチョン

• RQ1 実際のペaired画像を一切必要とせず、実際のレントゲンレポートから生成された合成医療画像のみを用いて、視覚言語事前学習を効果的に行うことができるか？
• RQ2 一般ドメイン拡散モデル（Stable Diffusion）から生成された合成画像で事前学習されたVLPモデルの性能は、実画像で事前学習されたモデルやドメイン特化型の合成データで学習されたモデルと比べてどうなるか？
• RQ3 医療ドメイン特化型生成モデル（RoentGen）を用いることで、下流の医療視覚タスクにおける合成画像の品質と有用性はどの程度向上するか？
• RQ4 合成データは、医療VLPにおけるデータ不足とプライバシーの課題を緩和しつつ、モデル性能を維持または向上させることができるか？
• RQ5 合成データは、医療視覚タスクにおけるゼロショットおよびフェイシング一般化にどのような影響を与えるか？

主な発見

• RoentGenによって生成された合成画像のみで事前学習されたVLPモデルは、すべての下流タスクで実画像で事前学習されたモデルと同等またはそれ以上の性能を達成した。
• SIIM-ACR分類タスクにおいて、ConVIRT(RoentGen)は100%データでDiceスコア61.2%を達成し、実画像ベースライン（59.9%）を1.3ポイント上回った。
• RSNAセグメンテーションタスクでは、GLoRIA(RoentGen)がDiceスコア69.8%を記録し、実画像ベースライン（68.3%）を1.5ポイント上回った。
• RSNAオブジェクト検出タスクでは、MGCA(RoentGen)が100%データでmAP 25.3%を達成し、実画像ベースライン（24.9%）を0.4ポイント上回った。
• 一方、Stable Diffusion（SD）から生成された合成画像で事前学習されたモデルは、一貫した性能低下を示し、SIIMでのConVIRT(SD)は100%データでDiceスコアが12.6ポイント低下した。
• 本研究では、匿名化された実レントゲンレポートとペアになった最初の大規模な合成CX画像データセットを提供し、論文受容後に公開された。

Figure 2: The synthetic samples images generated from real radiology report from SD 2.1 and RoentGen.