[논문 리뷰] MedXChat: A Unified Multimodal Large Language Model Framework towards CXRs Understanding and Generation

Ling Yang, Zhanyu Wang외 3명|arXiv (Cornell University)|2023. 12. 04.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

MedXChat는 단일 지시 튜닝 LLM을 사용하여 종단 간 CXR에서 보고서 생성, 시각적 질의 응답(VQA), 텍스트에서 CXR 생성을 통합하는 다중모odal 대규모 언어모델 프레임워크이다. MIMIC-CXR에서 모든 작업에서 최신 기술 수준(SOTA)을 달성하며, FID(43.46), AUROC(0.87), BLEU-4(0.42)에서 뛰어난 성능을 기록했으며, 임상적으로 정확하고 세밀한 측면 뷰(CXR)를 생성하는 데 뛰어난 정밀도를 보였다.

ABSTRACT

Multimodal Large Language Models (MLLMs) have shown success in various general image processing tasks, yet their application in medical imaging is nascent, lacking tailored models. This study investigates the potential of MLLMs in improving the understanding and generation of Chest X-Rays (CXRs). We introduce MedXChat, a unified framework facilitating seamless interactions between medical assistants and users for diverse CXR tasks, including text report generation, visual question-answering (VQA), and Text-to-CXR generation. Our MLLMs using natural language as the input breaks task boundaries, maximally simplifying medical professional training by allowing diverse tasks within a single environment. For CXR understanding, we leverage powerful off-the-shelf visual encoders (e.g., ViT) and LLMs (e.g., mPLUG-Owl) to convert medical imagery into language-like features, and subsequently fine-tune our large pre-trained models for medical applications using a visual adapter network and a delta-tuning approach. For CXR generation, we introduce an innovative synthesis approach that utilizes instruction-following capabilities within the Stable Diffusion (SD) architecture. This technique integrates smoothly with the existing model framework, requiring no extra parameters, thereby maintaining the SD's generative strength while also bestowing upon it the capacity to render fine-grained medical images with high fidelity. Through comprehensive experiments, our model demonstrates exceptional cross-task adaptability, displaying adeptness across all three defined tasks. Our MedXChat model and the instruction dataset utilized in this research will be made publicly available to encourage further exploration in the field.

연구 동기 및 목표

• 임상 환경에서 CXR 영상 이해 및 생성을 자연어 상호작용과 원활하게 통합하는 통합 다중모달 프레임워크를 개발하는 것.
• 벡터 양자화(VQ)에 의존하고 양자화 오차 및 고정된 코드북 제약 조건으로 인해 제한되는 기존 모델의 한계를 극복하는 것.
• 디퓨전 모델을 재학습하거나 텍스트를 영상 토큰으로 변환하지 않고도 Stable Diffusion의 지시 준수 능력을 직접 활용하여 지시 기반 텍스트에서 CXR 생성을 고해상도로 수행하는 것.
• CLIP-통합 지역 특징과 LLM 기반 지시 튜닝을 활용하여 다중 작업 적응성과 임상적 관련성을 향상시키는 것.
• 생성 및 이해 작업에서 앞면(anteposterior, PA)과 측면(lateral, LAT) CXR 뷰를 모두 지원하여 진단의 완전성을 향상시키는 것.

제안 방법

• 세밀한 의료 데이터를 위한 시각적 및 텍스트적 표현 간의 정렬을 향상시키기 위해 VQ 기반 영상 토큰 대신 CLIP-통합 지역 특징을 사용한다.
• 종단 간 다중모달 튜닝을 위해 이미지와 보고서를 참조하는 지시 튜닝 대화 데이터를 생성하기 위해 텍스트 전용 LLM(ChatGPT-4)을 교사로 활용한다.
• 텍스트에서 CXR 생성을 위해 Stable Diffusion의 지시 준수 능력을 직접 활용하여 토큰 수준의 영상-텍스트 정렬을 회피하고 디퓨전 모델의 전체 재학습을 피한다.
• 프레임워크는 MIMIC-CXR 데이터셋에서 종단 간으로 훈련되며, CXR에서 보고서 생성, VQA, 텍스트에서 CXR 생성이라는 세 가지 핵심 작업을 지원한다.
• 비디오 및 언어 모odal을 프롬프트 기반 지시 튜닝을 통해 통합함으로써 별도의 모델 헤드나 파rameter 효율적 어댑터가 필요 없도록 한다.
• 표준 평가 지표인 BLEU, ROUGE, METEOR, CIDEr, FID, AUROC, 진단 분류 정확도 등을 사용하여 모델을 평가한다.

실험 결과

연구 질문

• RQ1 통합 다중모달 LLM 프레임워크가 단일 아키텍처에서 CXR에서 보고서 생성, VQA, 텍스트에서 CXR 생성 작업에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ2 VQ 기반 영상 토큰화를 CLIP-통합 지역 특징으로 대체할 경우 의료 다중모달 작업에서 성능 향상과 일반화 능력 향상에 어떤 영향을 미치는가?
• RQ3 지시 튜닝된 LLM이 정확한解剖학적 뷰(예: 측면 뷰)와 병변을 포함한 임상적으로 정확한 세밀한 CXR 영상을 얼마나 정확하게 생성할 수 있는가?
• RQ4 Stable Diffusion의 내장 지시 준수 능력을 활용하면 추가적인 영상 토큰화 없이도 고해상도, 파rameter 효율적인 텍스트에서 CXR 생성이 가능한가?
• RQ5 복잡한 경우, 예를 들어 양측 부종이나 흉막 출혈과 같은 경우에서 MedXChat은 기존 모델보다 임상적으로 관련 있는 패턴을 얼마나 잘 포착하는가?

주요 결과

• MedXChat은 텍스트에서 CXR 생성에서 FID 점수 43.46을 기록하여 LLM-CXR(73.29)와 UniXGen(106.17)을 크게 앞서며, 실제 CXR와 유사한 영상 품질과 분포 유사성을 보여주었다.
• 진단 분류에서 AUROC 0.87을 달성하여 LLM-CXR(0.85)와 UniXGen(0.78)을 초월하며 임상적으로 정보가 풍부한 특징을 더 잘 포착함을 입증했다.
• CXR에서 보고서 생성 작업에서 MedXChat은 BLEU-4 점수 0.42를 기록하여 LLM-CXR 및 모든 기존 베이스라인을 능가했으며, BLEU-1에서 BLEU-3까지 및 METEOR에서도 뛰어난 성능을 보였다.
• VQA 작업에서 MedXChat은 가장 높은 총합 정확도를 기록했으며, 병변 존재 여부 92.1%, 위치 89.3%, SST(크기, 중증도, 유형) 87.6%를 기록하여 모든 범주에서 다른 모델을 능가했다.
• LLM-CXR와 UniXGen이 앞면 뷰에 국한되어 있는 것과 달리, MedXChat은 양측 부종과 흉막 출혈과 같은 병변을 정확하게 묘사한 고해상도 측면 뷰 CXR를 성공적으로 생성했다.
• 정성적 분석 결과 MedXChat은 원본 보고서와 일치하는 세부적인 발견 및 인상 내용을 포함한 보고서를 생성하는 것으로 확인되었으며, LLM-CXR는 단지 간단한 인상 섹션만 생성했다.