[논문 리뷰] MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models

Peng Xia, Kangyu Zhu외 7명|arXiv (Cornell University)|2024. 10. 16.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

MMed-RAG는 도메인 인식 검색, 적응형 컨텍스트 선택, RAG 기반 선호도 미세조정을 통해 의료 시각-언어 모델의 사실적 정확도를 향상시키는 유연한 다중모odal 검색 보강 생성 시스템이다. 레이저영상, 망막검사, 병리학을 포함한 다섯 개인 의료 데이터셋에서 평균 43.8%의 사실적 정확도 향상을 달성한다.

ABSTRACT

Artificial Intelligence (AI) has demonstrated significant potential in healthcare, particularly in disease diagnosis and treatment planning. Recent progress in Medical Large Vision-Language Models (Med-LVLMs) has opened up new possibilities for interactive diagnostic tools. However, these models often suffer from factual hallucination, which can lead to incorrect diagnoses. Fine-tuning and retrieval-augmented generation (RAG) have emerged as methods to address these issues. However, the amount of high-quality data and distribution shifts between training data and deployment data limit the application of fine-tuning methods. Although RAG is lightweight and effective, existing RAG-based approaches are not sufficiently general to different medical domains and can potentially cause misalignment issues, both between modalities and between the model and the ground truth. In this paper, we propose a versatile multimodal RAG system, MMed-RAG, designed to enhance the factuality of Med-LVLMs. Our approach introduces a domain-aware retrieval mechanism, an adaptive retrieved contexts selection method, and a provable RAG-based preference fine-tuning strategy. These innovations make the RAG process sufficiently general and reliable, significantly improving alignment when introducing retrieved contexts. Experimental results across five medical datasets (involving radiology, ophthalmology, pathology) on medical VQA and report generation demonstrate that MMed-RAG can achieve an average improvement of 43.8% in the factual accuracy of Med-LVLMs. Our data and code are available in https://github.com/richard-peng-xia/MMed-RAG.

연구 동기 및 목표

• 임상적 적용을 위한 주요 장벽인 의료 대규모 시각-언어 모델(Med-LVLMs)에서의 사실 왜곡 문제를 해결한다.
• 데이터 부족 및 훈련 데이터와 실제 데이터 간의 분포 이탈 등의 문제로 인해 발생하는 훈련의 한계를 극복한다.
• 레이저영상, 망막검사, 병리학 등 다양한 의료 도메인에서 검색 보강 생성(RAG)의 일반화 능력과 신뢰성을 향상시킨다.
• RAG 간섭으로 인한 시각 입력 忽시 등의 교차 모odal 비일치 및 실제값과의 총합 비일치를 완화한다.
• 다시 훈련이나 도메인 특화 적응 없이도 높은 성능을 유지할 수 있는 견고하고 이식 가능한 RAG 프레임워크를 개발한다.

제안 방법

• 입력 이미지 모odal에 따라 적절한 검색 모델을 동적으로 선택할 수 있도록 도메인 식별 모듈을 활용한 도메인 인식 검색 메커니즘을 도입한다.
• 최적의 검색 컨텍스트 수를 균형 있게 결정하기 위해 적응형 校정 방법을 구현한다. 이는 사실적 관련성과 모델의 일관성 간의 균형을 맞춘다.
• 선호도 쌍을 사용하여 RAG 기반 선호도 미세조정 전략을 설계하여 교차 모달 일치도를 향상시키고, 검색된 텍스트에 대한 과도한 의존도를 감소시킨다.
• 검색된 텍스트에 정확한 정보가 포함되어 있어도 시각 입력을 우선시하도록 모델을 훈련시키며, 관련 없거나 잘못된 검색 내용은 억제한다.
• 약한 가정 하에 이론적 분석을 통해 MMed-RAG가 교차 모달 비일치와 총합 비일치를 모두 감소시킴을 입증한다.
• 선호도 최적화를 통한 검색 보강 생성을 활용하여 모델 출력이 시각 입력과 사실 기반 참조와 모두 일치하도록 한다.

실험 결과

연구 질문

• RQ1 다양한 의료 영상 도메인에서 다중모달 RAG 시스템이 Med-LVLMs의 사실 왜곡을 효과적으로 줄일 수 있는가?
• RQ2 도메인 인식 검색은 의료 시각-언어 작업에서 RAG의 일반화 능력과 신뢰성에 어떻게 기여하는가?
• RQ3 적응형 컨텍스트 선택과 선호도 미세조정은 시각 입력, 검색 지식, 모델 출력 간의 비일치를 어느 정도 완화할 수 있는가?
• RQ4 RAG 기반 선호도 미세조정은 검색 컨텍스트에 대한 과도한 의존도를 줄이면서도 사실적 정확도를 유지하는가?
• RQ5 제안된 시스템은 작업별 재훈련 없이도 다양한 의료 모odal에서 높은 사실적 정확도를 유지할 수 있는가?

주요 결과

• MMed-RAG는 레이저영상, 망막검사, 병리학을 포함한 다섯 개인 의료 다중모달 데이터셋에서 평균 43.8%의 사실적 정확도 향상을 달성한다.
• 의료 VQA에서 MMed-RAG는 기본 Med-LVLM 대비 사실적 정확도를 18.5% 향상시켜 개방형 추론 작업에서 뛰어난 성능을 보였다.
• 보고서 생성 과제에서는 향상률이 69.1%에 이르며, 장문의 맥락 민감한 의료 텍스트 생성에서 뛰어난 효과를 입증했다.
• 모델이 검색된 텍스트를 그대로 복사하는 Copy-Reference(CR) 비율은 MMed-RAG 적용 후 43.31%에서 28.19%로 감소하여 기계적 복사 현상이 감소함을 확인했다.
• 모델이 잘못된 검색 내용을 잘못 따라하는 Over-Reliance(OR) 비율은 43.31%에서 8.38%로 감소하여, 관련 없거나 잘못된 검색으로 인한 간섭이 크게 줄어들었다.
• 주의 시각화 결과 MMed-RAG가 시각 입력에 대한 집중도를 향상시키고, 검색된 텍스트에 대한 과도한 집중을 줄여 교차 모달 일치도를 향상시킴을 확인했다.