[論文レビュー] Vision-Language Generative Model for View-Specific Chest X-ray Generation

Hyungyung Lee, Lee, Da Young+6 more|arXiv (Cornell University)|Feb 23, 2023

AI in cancer detection被引用数 5

ひとこと要約

UniXGen は、離散的視覚トークンと特別なビュー制御トークンを用いて、ビュー別胸部X線画像とレントゲン画像報告書を生成する統合型ビジョン・ランゲージモデルである。マルチビュー入力と効率的な Performer アーキテクチャを活用することで、FID、BLEU、CheXpert メトリクスにおいて、微調整された Stable Diffusion を含むベースラインを上回る最先端の性能を達成した。

ABSTRACT

Synthetic medical data generation has opened up new possibilities in the healthcare domain, offering a powerful tool for simulating clinical scenarios, enhancing diagnostic and treatment quality, gaining granular medical knowledge, and accelerating the development of unbiased algorithms. In this context, we present a novel approach called ViewXGen, designed to overcome the limitations of existing methods that rely on general domain pipelines using only radiology reports to generate frontal-view chest X-rays. Our approach takes into consideration the diverse view positions found in the dataset, enabling the generation of chest X-rays with specific views, which marks a significant advancement in the field. To achieve this, we introduce a set of specially designed tokens for each view position, tailoring the generation process to the user's preferences. Furthermore, we leverage multi-view chest X-rays as input, incorporating valuable information from different views within the same study. This integration rectifies potential errors and contributes to faithfully capturing abnormal findings in chest X-ray generation. To validate the effectiveness of our approach, we conducted statistical analyses, evaluating its performance in a clinical efficacy metric on the MIMIC-CXR dataset. Also, human evaluation demonstrates the remarkable capabilities of ViewXGen, particularly in producing realistic view-specific X-rays that closely resemble the original images.

研究の動機と目的

• 実際の医療画像データの不足とプライバシー制約に対処するため、高精細な合成胸部X線画像とレポートを生成すること。
• 両方向の胸部X線画像とレポート生成を1つのモデルに統合し、アーキテクチャの複雑さとトレーニングのオーバーヘッドを低減すること。
• トレーニングデータに該当ビューが存在しない場合でも、専用の特別なトークンを用いて、ビュー別X線画像の生成を可能にすること。
• 異なるビュー間で補完的な解剖学的所見を捉えるマルチビューX線入力を活用することで、生成品質を向上させること。
• 高解像度画像と長文レポートを処理できる計算効率の良いモデル（Performer を用いた効率的トランスフォーマー）を開発すること。

提案手法

• VQ-GAN をベースとする画像トークナイザーを用いて、胸部X線画像を離散的視覚トークンに変換し、画像とレポート生成の両方のシーケンスモデリングを可能にする。
• 統合型トランスフォーマー基盤アーキテクチャを用いて、X線画像とレポート生成の両方を自己回帰的シーケンス生成タスクとして扱う。
• PA、AP、側面像などのビュー別特別トークンを導入し、トレーニングデータに存在しないビューであっても、希望のビュー種別に条件づけて生成できるようにする。
• 長大な入力シーケンス（高解像度画像と長文レポート）を処理しつつ、計算コストを低減するため、Performer を用いたトランスフォーマー・アーキテクチャを採用する。
• 単一またはマルチビューX線を柔軟に受け入れられ、生成時にビュー間の特徴を動的に統合する。
• 画像とレポート生成の整合性を高めるために、対照学習と自己回帰的損失を組み合わせ、エンドツーエンドで統合モデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 統合型ビジョン・ランゲージモデルは、1つのアーキテクチャ内で、ビュー別胸部X線画像とレポートを効果的に生成できるか？
• RQ2 ビュー別特別トークンは、希望の解剖学的ビューにおける生成X線の忠実性と正確性をどの程度向上させるか？
• RQ3 マルチビュー入力は、単一ビュー入力と比較して、生成画像およびレポートの品質と臨床的正確性にどのような影響を与えるか？
• RQ4 同じトレーニング体制下で、統合モデルはタスク特化型モデルを上回る性能を画像生成およびレポート生成の両面で示せるか？
• RQ5 画像入力が全くない状態でも、レポートに条件づけられる場合に、臨床的に妥当で現実的なX線画像とレポートを生成できるか？

主な発見

• UniXGen は、Fréchet Inception Distance (FID) が 18.994 に達し、微調整された Stable Diffusion (FID 78.857) より顕著に優れた胸部X線生成性能を示した。
• 14疾患分類 F1 スコアは 0.396 に向上し、AUROC は 0.728 に達し、CheXpert メトリクスにおいてベースラインモデルを上回った。
• 人間による評価では、UniXGen がオリジナル画像と同等の現実性（4.193/5）と整合性（3.583/5）を持つX線を生成し、ビュー位置の正しく生成される確率は 100% であった。
• マルチビュー入力により生成品質が向上：追加のビューが使用された場合、FID は 18.994 から 10.436 に低下し、F1 スコアは 0.396 から 0.416 に上昇した。
• ビュー別特別トークンにより、トレーニングデータに存在しない PA、AP、側面像に対しても、正しい解剖学的特徴を生成できた。
• 定性的な例では、マルチビュー入力により、単一のレポートでの生成では見逃されがちな病態（例：大量の胸水）のより正確な表現が可能になった。