[논문 리뷰] MiniGPT-Med: Large Language Model as a General Interface for Radiology Diagnosis

Asma Alkhaldi, Raneem Alnajim외 6명|arXiv (Cornell University)|2024. 07. 04.

Radiomics and Machine Learning in Medical Imaging인용 수 5

한 줄 요약

MiniGPT-Med는 비전-언어 모델로 LLM(LLaMA-2)을 기반으로 고정된 비전 인코더(EVA)와 선형 투영 계층을 활용하여, 의료 보고서 생성, 질병 탐지, 의료 VQA를 X-레이, CT, MR 이미지 전반에 걸쳐 가능하게 하며, 의료 보고서 생성에서 최신 연구 성과를 달성하고 근거 제시 및 비근거 제시 작업에서 강력한 성능을 보여준다.

ABSTRACT

Recent advancements in artificial intelligence (AI) have precipitated significant breakthroughs in healthcare, particularly in refining diagnostic procedures. However, previous studies have often been constrained to limited functionalities. This study introduces MiniGPT-Med, a vision-language model derived from large-scale language models and tailored for medical applications. MiniGPT-Med demonstrates remarkable versatility across various imaging modalities, including X-rays, CT scans, and MRIs, enhancing its utility. The model is capable of performing tasks such as medical report generation, visual question answering (VQA), and disease identification within medical imagery. Its integrated processing of both image and textual clinical data markedly improves diagnostic accuracy. Our empirical assessments confirm MiniGPT-Med's superior performance in disease grounding, medical report generation, and VQA benchmarks, representing a significant step towards reducing the gap in assisting radiology practice. Furthermore, it achieves state-of-the-art performance on medical report generation, higher than the previous best model by 19\% accuracy. MiniGPT-Med promises to become a general interface for radiology diagnoses, enhancing diagnostic efficiency across a wide range of medical imaging applications.

연구 동기 및 목표

• 다양한 방사선학 모달리티에서 grounding 및 non-grounding 작업을 처리할 수 있는 다목적 방사선학 중심 멀티모달 모델의 필요성을 동기화한다.
• 의료 비전-언어 작업에 대해 LLM을 보편적 인터페이스로 활용하는 통합 아키텍처를 제안한다.
• 의료 보고서 생성에서 최신 성능을 시연하고 질병 탐지 및 VQA에서도 경쟁력 있는 결과를 보여준다.
• X-레이, CT 스캔, MRI에 걸친 모델의 적용성과 상세한 임상 보고서를 생성하는 능력을 보여준다.

제안 방법

• EVA를 고정된 시각적 백본으로 사용하여 방사선 이미지 특징을 추출한다.
• 선형 투영 계층으로 시각 토큰을 LLaMA-2 공간으로 맵핑하는 MiniGPT-v2 아키텍처를 채택한다.
• 작업 특정 프롬프트를 [INST] 토큰과 여섯 개의 작업 식별자와 함께 도입하여 grounding 및 non-grounding 작업을 안내한다.
• bounding boxes를 LLM과의 통합을 위해 [0,100] 범위의 정규화된 좌표로 텍스트화하여 표현한다.
• 비전 인코더를 고정한 채 LoRA로 LLaMA-2 모델을 파인튜닝한다.
• 크로스 엔트로피 손실과 AdamW 옵티마이저를 사용하여 100 에폭, augmentation 없이 A100 GPU에서 124,276장의 의료 이미지(448x448)로 학습한다.

Figure 1: The diverse capabilities by MiniGPT-Med. It can perform disease detection, medical visual question answering, and medical report generation. MiniGPT-Med effectively works with a wide range of radiological data (X-rays, CT scans, and MRIs) and is adept at diagnosing many diseases.

실험 결과

연구 질문

• RQ1 다양한 방사선 모달리티에서 의료 보고서 생성, 질병 탐지, 의료 VQA를 단일의 통합 모델로 수행할 수 있는가?
• RQ2 통합 LLM 인터페이스를 통해 시각적-임상 데이터를 결합하는 것이 전문화된 또는 일반적 baselines와 비교하여 진단 정확도와 grounding 능력을 향상시키는가?
• RQ3 이 아키텍처로 MIMIC-CXR에서 의료 보고서 생성의 최신 성능은 어느 수준인가?
• RQ4 외부 방사선 벤치마크에서 제로샷 질병 탐지 및 VQA가 얼마나 잘 일반화되는가?

주요 결과

• MiniGPT-Med는 MIMIC-CXR에서 의료 보고서 생성의 최신 성능을 달성하여, BERT-Sim에서 최고 기준보다 19.0%, CheXbert-Sim에서 5.2%를 상회한다.
• RSNA에서 질병 근거 제시의 IoU가 0.26으로 경쟁력 있는 수준으로, 전문 모델에 근접하다.
• 의료 VQA에서 MiniGPT-Med는 RadVQA에서 0.58을 달성하여 일반ist 모델인 MiniGPT-v2 및 OpenFlamingo를 능가하고, 전문 모델 MedVIN 레벨(0.62)에 접근한다.
• 방사선 전문 평가에 따르면 생성된 보고서의 76%가 높은 품질로 간주되었고, 19%는 중간, 5%는 저품질이었다.
• 보고서 생성, 질병 탐지, VQA 전반에 걸쳐 MiniGPT-Med가 전문가 및 일반 모델 모두에 대해 강력한 성능을 보이며, grounding 및 non-grounding 작업 처리에 있어 효과적임을 시사한다.

Figure 2: MiniGPT-Med Architecture Overview: The architecture comprises a vision encoder, a linear projection layer, and a large language model. It processes a single medical image, transforming it into visual semantic features via a pre-trained vision encoder. These features are concatenated into a