[論文レビュー] XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models

Omkar Thawkar, Abdelrahman Shaker+6 more|arXiv (Cornell University)|Jun 13, 2023

Multimodal Machine Learning Applications被引用数 39

ひとこと要約

XrayGPT は凍結された医療ビジョンエンコーダを fine-tuned 医療 LLM に整列させ、胸部X線の高品質でインタラクティブな放射線要約を生成する。大規模な医療レポートデータで訓練。

ABSTRACT

The latest breakthroughs in large vision-language models, such as Bard and GPT-4, have showcased extraordinary abilities in performing a wide range of tasks. Such models are trained on massive datasets comprising billions of public image-text pairs with diverse tasks. However, their performance on task-specific domains, such as radiology, is still under-investigated and potentially limited due to a lack of sophistication in understanding biomedical images. On the other hand, conversational medical models have exhibited remarkable success but have mainly focused on text-based analysis. In this paper, we introduce XrayGPT, a novel conversational medical vision-language model that can analyze and answer open-ended questions about chest radiographs. Specifically, we align both medical visual encoder (MedClip) with a fine-tuned large language model (Vicuna), using a simple linear transformation. This alignment enables our model to possess exceptional visual conversation abilities, grounded in a deep understanding of radiographs and medical domain knowledge. To enhance the performance of LLMs in the medical context, we generate ~217k interactive and high-quality summaries from free-text radiology reports. These summaries serve to enhance the performance of LLMs through the fine-tuning process. Our approach opens up new avenues the research for advancing the automated analysis of chest radiographs. Our open-source demos, models, and instruction sets are available at: https://github.com/mbzuai-oryx/XrayGPT.

研究の動機と目的

• ビジョンと言語モデルにおける放射線学特化の理解を向上させることを動機づける。
• 胸部X線写真についてインタラクティブで簡潔な要約を生成し、フォローアップの質問に答えられるモデルを開発する。
• 医療の正確性を高めるために高品質な放射線レポート要約を活用して部品を微調整する。
• モデル・データ・指示をオープンソース化し、生物医療のマルチモーダル研究を進展させる。

提案手法

• MedClip を凍結した医療用ビジュアルエンコーダとして画像特徴を抽出する。
• 視覚特徴を言語空間へ写像するための学習可能な線形変換を適用する。
• 大規模言語モデル Vicuna を医療会話で微調整して放射線知識を定着させる。
• MIMIC-CXR と OpenI データセットからの高品質な対話的要約を用いて二段階で訓練する。
• システムプロンプトと医師プロンプトの二つの問合せ方式でLLMを誘導する。
• Rogue スコアと GPT ベースの評価を用いて、基準と比較して各コンポーネントを評価する。

実験結果

リサーチクエスチョン

• RQ1 凍結された医療ビジュアルエンコーダと微調整された医療LLMの整合性は、正確でインタラクティブな胸部X線要約を生み出せるか。
• RQ2 放射線レポートからの高品質でタスク特化型の要約は、医用画像タスクにおけるLLMの性能を向上させるか。
• RQ3 MedClip と Vicuna の構成要素が放射線特化の要約性能に与える限界的影響は何か。

主な発見

• XrayGPT は MIMIC-CXR テストセットで Rogue スコアのベースラインに対して大幅な改善を示す。
• MedCLIP、MedVicuna、RadVicuna のコンポーネントを追加すると、段階的な Rogue スコアの増加が得られる（R-1: 0.1313 から 0.3213；R-2: 0.0221 から 0.0912；R-L: 0.0879 から 0.1997）。
• LLMベースの評価（ChatGPT）は、近い参照を選択する際に baseline より XrayGPT を支持し、82% 対 6% だった。
• 本モデルは MIMIC-CXR テストセットで最先端のベースライン Zhu et al. (2023) に対して R-1 で絶対値 19% の獲得を達成する。
• Stage-1 では 213,514 image-text ペアを使用；Stage-2 では 3k OpenI ペアを使用して放射線特化の要約を改善。
• 定性的な結果は放射線科医のような対話能力と詳細な所見を示す。