[論文レビュー] ELIXR: Towards a general purpose X-ray artificial intelligence system through alignment of large language models and radiology vision encoders

Shawn Xu, Lin Yang+26 more|arXiv (Cornell University)|Aug 2, 2023

COVID-19 diagnosis using AI被引用数 18

ひとこと要約

ELIXR は視覚エンコーダを凍結した LLM に整合させ、paired images と free-text reports を用いて、胸部 X 線のゼロショット分類、データ効率の高い学習、セマンティック検索、VQA、放射線レポート QA を実現します。

ABSTRACT

In this work, we present an approach, which we call Embeddings for Language/Image-aligned X-Rays, or ELIXR, that leverages a language-aligned image encoder combined or grafted onto a fixed LLM, PaLM 2, to perform a broad range of chest X-ray tasks. We train this lightweight adapter architecture using images paired with corresponding free-text radiology reports from the MIMIC-CXR dataset. ELIXR achieved state-of-the-art performance on zero-shot chest X-ray (CXR) classification (mean AUC of 0.850 across 13 findings), data-efficient CXR classification (mean AUCs of 0.893 and 0.898 across five findings (atelectasis, cardiomegaly, consolidation, pleural effusion, and pulmonary edema) for 1% (~2,200 images) and 10% (~22,000 images) training data), and semantic search (0.76 normalized discounted cumulative gain (NDCG) across nineteen queries, including perfect retrieval on twelve of them). Compared to existing data-efficient methods including supervised contrastive learning (SupCon), ELIXR required two orders of magnitude less data to reach similar performance. ELIXR also showed promise on CXR vision-language tasks, demonstrating overall accuracies of 58.7% and 62.5% on visual question answering and report quality assurance tasks, respectively. These results suggest that ELIXR is a robust and versatile approach to CXR AI.

研究の動機と目的

• 日常的に収集される胸部 X 線 (CXR) 画像–レポートペアを活用して、多様な放射線領域タスクに対応する多模态モデルを訓練する。
• CXR 分類において豊かなテキスト誘導出力を伴う強力なゼロショットおよびデータ効率的性能を達成する。
• LLM アラインメントを通じて、セマンティック検索、視覚的質問応答、放射線レポート QA などの多模态機能を有効化する。

提案手法

• Two-stage architecture: ELIXR-C trains a language-aligned image encoder using CLIP-style contrastive learning to align CXR images with radiology reports.
• ELIXR-B grafts a lightweight adapter (Q-Former) between the frozen ELIXR-C encoder and a frozen LLM (PaLM 2-S) to map image embeddings to the LLM’s token space.
• Training is data-efficient by freezing the LLM and vision encoder, training only the adapter.
• Phase 1 uses image-text contrastive learning (ITC), image-grounded text generation (ITG), and image-text matching (ITM) to learn cross-modal representations.
• Phase 2 trains the adapter to generate LLM-aligned tokens and to enable impression generation, then uses the LLM for downstream generation tasks like VQA and report QA.

実験結果

リサーチクエスチョン

• RQ1 Can ELIXR achieve zero-shot classification performance on chest X-ray findings comparable to state-of-the-art supervised methods?
• RQ2 How data-efficient can CXR classification be when using ELIXR-C and ELIXR-B compared to fully supervised baselines?
• RQ3 Can the ELIXR framework support semantic search and retrieve clinically relevant CXR images with high quality?
• RQ4 Is ELIXR capable of VQA and radiology report quality assurance using an LLM-aligned multimodal pipeline?
• RQ5 Does the approach generalize across multiple datasets and hospital sources?

主な発見

• ELIXR は CheXpert の 13 件の findings で平均 AUC が 0.850 に達し、ゼロショット分類で最先端の方法と同等の性能を達成する。
• ELIXR-C および ELIXR-B はデータ効率的な線形プローブ性能を達成し、5 つの CheXpert findings で平均 AUC が 0.893 (1% データ) および 0.898 (10% データ) を示し、従来法を上回る。
• セマンティック検索では、ELIXR は 0.76 NDCG@5 を 19 件のクエリで達成し、いくつかの完全検索を達成（19 件中 12 件）.
• ELIXR-B は検索品質で ELIXR-C および MedCLIP を上回り、クエリグループ全体で precision@5 および NDCG@5 が向上。
• VQA およびレポート QA タスクでは、CXR タスクでの全体精度が 58.7%（VQA）および 62.5%（レポート QA）となる。
• 既存のデータ効率的手法と比較して、ELIXR は同様の性能を達成するために必要なデータ量を2桁小さく抑える。