[論文レビュー] RoentGen: Vision-Language Foundation Model for Chest X-ray Generation

Pierre Chambon, Christian Bluethgen+8 more|arXiv (Cornell University)|Nov 23, 2022

Colorectal Cancer Screening and Detection被引用数 56

ひとこと要約

RoentGenは潜在拡散モデルを適応させ、医療テキストプロンプトに conditioningされた高忠実度の胸部X線画像を生成し、下流タスクのドメイン特異的ファインチューニングとデータ拡張を可能にする。

ABSTRACT

Multimodal models trained on large natural image-text pair datasets have exhibited astounding abilities in generating high-quality images. Medical imaging data is fundamentally different to natural images, and the language used to succinctly capture relevant details in medical data uses a different, narrow but semantically rich, domain-specific vocabulary. Not surprisingly, multi-modal models trained on natural image-text pairs do not tend to generalize well to the medical domain. Developing generative imaging models faithfully representing medical concepts while providing compositional diversity could mitigate the existing paucity of high-quality, annotated medical imaging datasets. In this work, we develop a strategy to overcome the large natural-medical distributional shift by adapting a pre-trained latent diffusion model on a corpus of publicly available chest x-rays (CXR) and their corresponding radiology (text) reports. We investigate the model's ability to generate high-fidelity, diverse synthetic CXR conditioned on text prompts. We assess the model outputs quantitatively using image quality metrics, and evaluate image quality and text-image alignment by human domain experts. We present evidence that the resulting model (RoentGen) is able to create visually convincing, diverse synthetic CXR images, and that the output can be controlled to a new extent by using free-form text prompts including radiology-specific language. Fine-tuning this model on a fixed training set and using it as a data augmentation method, we measure a 5% improvement of a classifier trained jointly on synthetic and real images, and a 3% improvement when trained on a larger but purely synthetic training set. Finally, we observe that this fine-tuning distills in-domain knowledge in the text-encoder and can improve its representation capabilities of certain diseases like pneumothorax by 25%.

研究の動機と目的

• 医療画像における自然画像と医療概念間の分布シフトのため、ドメイン適応生成モデルの必要性を動機付ける。
• 事前学習済みの潜在拡散モデルを胸部X線データと放射線診断レポートに適用してRoentGenを開発する。
• 定量的指標と専門家評価を用いて画像の忠実度、多様性、テキスト-画像の整合性を評価する。
• ドメイン特異的ファインチューニングを通じて、分類器性能の向上とテキストエンコーダの表現力強化という下流の利点を実証する。

提案手法

• 胸部X線と放射線診断レポートコーパス上でStable Diffusionパイプライン（VAE、U-Net、テキストエンコーダ）をファインチューニングまたは再訓練する。
• ドメイン特有のテキストエンコーダ（RadBERT、SapBERT）またはドメイン適応CLIPエンコーダを用いて短いドメイン内医療プロンプトで生成条件を設定する。
• 拡散過程における真のノイズとU-Net推定ノイズの平均二乗誤差を最小化する結合損失を使用する。
• ファインチューニング戦略の比較：U-Netのファインチューニング、テキストエンコーダのファインチューニング、エンコーダの置換/保持、トレーニングステップと学習率の多様化。
• FID、MS-SSIM、ドメイン関連指標を用いて複数のプロンプトおよびトークン長の異なるプロンプトに対して忠実度と多様性を評価する。
• 放射線レポート生成、画像間および画像-テキスト検索、合成データ上の多ラベル分類を通じて事実性を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの潜在拡散モデルを放射線領域プロンプトで条件付けた高忠実度の胸部X線生成に効果的に適用できるか。
• RQ2 どのファインチューニング戦略の組み合わせ（U-Net、テキストエンコーダ、ドメイン特異エンコーダ）がCXRsの忠実度と概念的整合性を最も高くするか。
• RQ3 共有U-Netで訓練されたとき、ドメイン特異テキストエンコーダは生成品質を改善するか、またテキストエンコーダはドメイン内ファインチューニングの恩恵を受けるか。
• RQ4 RoentGenによって生成された合成CXRsは現実データを拡張して下流タスク、例えば画像分類を改善できるか。
• RQ5 ドメイン焦点の評価（テキスト-画像整合、放射線レポート生成、検索タスク）は生成CXRsの事実性をどう反映するか。

主な発見

• RoentGenは放射線特有の言語に条件付けられた視覚的に説得力があり多様な合成CXRsを生成できる。
• U-Netとドメイン特異テキストエンコーダの両方をファインチューニングすることで、部分的または単一コンポーネントのファインチューニングよりも高い画像忠実度と概念的正確さを達成する。
• CLIPテキストエンコーダをドメイン特異エンコーダ（RadBERTまたはSapBERT）に置換し、U-Netを共同訓練することでFID XRVおよび関連指標が改善される。
• テキストエンコーダのドメイン内知識の蒸留により、気胸などの疾患表現を含む表現力が最大25%向上する。
• 合成CXRsによるデータ拡張は、現実データと合成データの併用で下流の分類器性能を5%向上させ、純粋に合成データの場合でも3%向上させるという設定を報告している。