[論文レビュー] EHRXQA: A Multi-Modal Question Answering Dataset for Electronic Health Records with Chest X-ray Images

Seongsu Bae, Daeun Kyung+9 more|arXiv (Cornell University)|Oct 28, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

この論文は、構造化された電子歴史記録（EHR）と胸部X線画像を統合した、初めてのマルチモーダル質疑応答データセットEHRXQAを紹介している。このデータセットは、表形式と画像モダリティの両方を統合的に扱う推論を可能にする。本研究では、大規模言語モデルと外部VQA APIを統合したNeuralSQLベースのフレームワークを提案し、画像＋表形式のマルチモーダル質問において78.3％の正確一致精度を達成した。これは、マルチモーダルEHRQA分野における顕著な進展を示している。

ABSTRACT

Electronic Health Records (EHRs), which contain patients' medical histories in various multi-modal formats, often overlook the potential for joint reasoning across imaging and table modalities underexplored in current EHR Question Answering (QA) systems. In this paper, we introduce EHRXQA, a novel multi-modal question answering dataset combining structured EHRs and chest X-ray images. To develop our dataset, we first construct two uni-modal resources: 1) The MIMIC-CXR-VQA dataset, our newly created medical visual question answering (VQA) benchmark, specifically designed to augment the imaging modality in EHR QA, and 2) EHRSQL (MIMIC-IV), a refashioned version of a previously established table-based EHR QA dataset. By integrating these two uni-modal resources, we successfully construct a multi-modal EHR QA dataset that necessitates both uni-modal and cross-modal reasoning. To address the unique challenges of multi-modal questions within EHRs, we propose a NeuralSQL-based strategy equipped with an external VQA API. This pioneering endeavor enhances engagement with multi-modal EHR sources and we believe that our dataset can catalyze advances in real-world medical scenarios such as clinical decision-making and research. EHRXQA is available at https://github.com/baeseongsu/ehrxqa.

研究の動機と目的

• 構造化されたテーブルと医用画像を統合した公開可能なマルチモーダルEHRQAデータセットの不足を解消すること。
• 現在のEHRQAシステムが単一モダリティに偏っており、画像データと表形式データの統合的推論を無視しているというギャップを埋めること。
• 現実の臨床意思決定を支援するため、単一モダリティおよびクロスモダリティ質問応答をサポートするベンチマークデータセットを構築すること。
• EHRテーブルと胸部X線画像の両方を含む複雑で多面的な臨床クエリを理解できる高度なQAシステムの構築を可能にすること。
• 大規模で多様性に富み、臨床的に関連性のあるデータセットを提供することで、マルチモーダル医療AIの発展を促進すること。

提案手法

• MIMIC-CXRから抽出したデータを基に、EHRにおける画像ベースのQAを支援する新しい医用視覚質問応答ベンチマーク「MIMIC-CXR-VQA」を構築する。
• MIMIC-IVに基づくEHRSQLを再設計し、表形式の質問に対応する構造化されたEHRQAリソースに再構成する。
• MIMIC-CXR-VQAとEHRSQLを統合し、3つのQAスコープ（画像のみ、表のみ、画像＋表のクロスモダリティ質問）を備えたマルチモーダルデータセットEHRXQAを構築する。
• 外部VQA APIを呼び出すために新しいFUNC_VQA()構文をSQLに拡張したNeuralSQLベースのアーキテクチャを提案する。
• ChatGPTをパーサーとして使用し、事前学習済みのM³AEモデルを固定されたVQA APIとして用い、Few-shot（10ショット）のコンテキスト学習を実施する。
• 2つのプロンプティング戦略を適用する：固定されたFew-shot例と、関連するトレーニング例をBM25ベースで検索する戦略を用いて、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルEHRQAシステムは、構造化されたEHRテーブルと胸部X線画像を効果的に統合して、複雑な臨床的質問に答えられるか？
• RQ2 画像のみ、表のみ、または画像＋表のクロスモダリティクエリといった、異なる種類の質問において、マルチモーダルQAシステムの性能はどのように変化するか？
• RQ3 外部VQA APIを統合した大規模言語モデルは、単一モダリティのベースラインに比べて、マルチモーダルEHRデータに対する推論性能をどの程度向上できるか？
• RQ4 BM25を用いた関連するFew-shot例の検索は、固定されたFew-shotプロンプティングに比べて、マルチモーダル質問応答の精度を向上させるか？
• RQ5 質問の多様性と複雑さは、マルチモーダルEHRQAシステムの性能にどのような影響を与えるか？

主な発見

• BM25プロンプティング戦略を用いた提案されたNeuralSQLベースのアプローチは、画像＋表のクロスモダリティ質問において78.3％の正確一致精度を達成し、複雑なマルチモーダル推論において優れた性能を示した。
• 画像のみの質問では、単一画像クエリに対して94.4％の精度を達成し、単一モダリティの画像推論において優れた性能を示した。
• 表のみの質問では、「none」患者スコープで98.0％の精度に達し、構造化されたEHRデータに対する高い信頼性を示した。
• 固定プロンプティング戦略はクロスモダリティ質問において著しく劣り、単一画像＋表クエリでたった3.3％の正確一致精度にとどまった。これは、動的Few-shotリトリーブの重要性を示している。
• グループレベルの患者クエリ（例：画像＋表のグループクエリで15.0％の精度）では性能が著しく低下し、集約された患者データに対する推論の難易度が明らかになった。
• BM25ベースのリトリーブ戦略は、すべてのモダリティで固定Few-shotアプローチを上回り、特に複雑で多様な質問において優れた性能を示した。これは、コンテキスト選択における有効性を裏付けた。