[논문 리뷰] EHRXQA: A Multi-Modal Question Answering Dataset for Electronic Health Records with Chest X-ray Images

Seongsu Bae, Daeun Kyung외 9명|arXiv (Cornell University)|2023. 10. 28.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 구조화된 전자건강기록(EHR)과 흉부 X-ray 영상이 결합된 다중모달 질문응답 데이터셋인 EHRXQA를 소개한다. 이는 표와 영상 모odal 간의 통합 추론을 가능하게 하며, 신경SQL 기반 프레임워크를 제안하여 대규모 언어모델과 외부 VQA API를 통합함으로써 이미지+표 다중모달 질문에서 78.3%의 정확도를 달성한다. 이는 다중모달 EHR 질문응답 분야에서의 상당한 진전을 보여준다.

ABSTRACT

Electronic Health Records (EHRs), which contain patients' medical histories in various multi-modal formats, often overlook the potential for joint reasoning across imaging and table modalities underexplored in current EHR Question Answering (QA) systems. In this paper, we introduce EHRXQA, a novel multi-modal question answering dataset combining structured EHRs and chest X-ray images. To develop our dataset, we first construct two uni-modal resources: 1) The MIMIC-CXR-VQA dataset, our newly created medical visual question answering (VQA) benchmark, specifically designed to augment the imaging modality in EHR QA, and 2) EHRSQL (MIMIC-IV), a refashioned version of a previously established table-based EHR QA dataset. By integrating these two uni-modal resources, we successfully construct a multi-modal EHR QA dataset that necessitates both uni-modal and cross-modal reasoning. To address the unique challenges of multi-modal questions within EHRs, we propose a NeuralSQL-based strategy equipped with an external VQA API. This pioneering endeavor enhances engagement with multi-modal EHR sources and we believe that our dataset can catalyze advances in real-world medical scenarios such as clinical decision-making and research. EHRXQA is available at https://github.com/baeseongsu/ehrxqa.

연구 동기 및 목표

• 구조화된 표와 의료 영상이 통합된 공개 가능한 다중모달 EHR 질문응답 데이터셋의 부족을 해결하기 위해.
• 현재 단일 모달리티에 집중하는 EHR 질문응답 시스템이 영상과 표 데이터 간의 통합 추론를 간과하고 있다는 격차를 메우기 위해.
• 실제 임상 의사결정 지원을 위한 단일모달리티 및 교차모달 질문응답을 모두 지원하는 기준 데이터셋을 개발하기 위해.
• EHR 표와 흉부 X-ray 영상 둘 다를 포함한 복잡한 다면적 임상 질문을 이해할 수 있는 고급 질문응답 시스템의 구축을 가능하게 하기 위해.
• 대규모, 다양한, 임상적으로 관련성이 높은 데이터셋을 제공함으로써 다중모달 의료 AI의 발전을 위한 기반을 마련하기 위해.

제안 방법

• MIMIC-CXR에서 유도된 MIMIC-CXR-VQA를 신규로 구축하여, EHR 내 영상 기반 질문응답을 지원하는 의료 시각질의 질문 응답 기준을 마련한다.
• MIMIC-IV 기반의 EHRSQL을 재구성하여 표 기반 질문을 위한 구조화된 EHR 질문응답 자원으로 전환한다.
• MIMIC-CXR-VQA와 EHRSQL을 통합하여, 세 가지 질문 응답 범위(영상 전용, 표 전용, 영상+표 교차모달 질문)를 갖는 다중모달 데이터셋인 EHRXQA를 생성한다.
• 외부 VQA API를 호출해 영상 추론을 수행할 수 있도록 새로운 FUNC_VQA() 문법을 SQL에 추가한 NeuralSQL 기반 아키텍처를 제안한다.
• ChatGPT를 파arser로 사용하고, 미리 훈련된 M³AE 모델을 동결된 VQA API로 활용하여, few-shot 예시(10-shot)를 활용한 컨텍스트 학습을 적용한다.
• 고정된 few-shot 예시와 BM25 기반의 관련 훈련 예시 검색을 통한 두 가지 프롬프팅 전략을 적용하여 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중모달 EHR 질문응답 시스템은 구조화된 EHR 표와 흉부 X-ray 영상을 효과적으로 통합하여 복잡한 임상 질문에 답할 수 있는가?
• RQ2 영상 전용, 표 전용, 또는 교차모달 영상+표 질문 유형에 따라 다중모달 질문응답 시스템의 성능은 어떻게 달라지는가?
• RQ3 외부 VQA API를 통한 대규모 언어모델은 단일모달리티 기반 시스템에 비해 다중모달 EHR 데이터에 대한 추론 능력을 얼마나 향상시킬 수 있는가?
• RQ4 BM25를 활용한 관련 few-shot 예시 검색은 고정된 few-shot 프롬프팅에 비해 다중모달 질문응답 정확도를 향상시키는가?
• RQ5 질문의 다양성과 복잡도는 다중모달 EHR 질문응답 시스템의 성능에 어떤 영향을 미치는가?

주요 결과

• BM25 프롬프팅 전략을 적용한 제안된 NeuralSQL 기반 접근법은 영상+표 교차모달 질문에서 78.3%의 정확도를 달성하여 복잡한 다중모달 추론에서 뛰어난 성능을 보였다.
• 영상 전용 질문에서는 단일 영상 질의에서 94.4%의 정확도를 기록하여 단일모달 영상 추론 능력이 뛰어났다.
• 표 전용 질문에서는 'none' 환자 범위에서 98.0%의 정확도를 달성하여 구조화된 EHR 데이터에 대해 매우 높은 신뢰성을 보였다.
• 고정된 프롬프팅 전략은 교차모달 질문에서 빈약한 성능을 보였으며, 단일 영상+표 질문에서 정확도가 단지 3.3%에 그쳐 동적 few-shot 예시 검색의 중요성을 입증했다.
• 군집 수준의 환자 질의에서 성능이 크게 하락했다(예: 영상+표 군집 질문에서 15.0% 정확도), 이는 집계된 환자 데이터에 대한 추론에서의 과제를 보여주었다.
• BM25 기반의 검색 전략은 모든 모달리티에서 고정된 few-shot 접근법을 능가했으며, 특히 복잡하고 다양한 질문에서 뛰어난 성능을 보여, 컨텍스트 선택의 효과성을 입증했다.