[논문 리뷰] Comprehensive Evaluation of Multimodal AI Models in Medical Imaging Diagnosis: From Data Augmentation to Preference-Based Comparison

Cailian Ruan, Chengyue Huang외 1명|arXiv (Cornell University)|2024. 12. 07.

Radiomics and Machine Learning in Medical Imaging인용 수 8

한 줄 요약

이 논문은 다중 모달 의료 영상 진단을 위한 평가 프레임워크를 제시하고, CT 케이스 데이터셋을 확장하며 일반 목적 다중 모달 모델과 영상 중심 모델 및 의사를 선호도 기반 평가로 비교합니다.

ABSTRACT

This study introduces an evaluation framework for multimodal models in medical imaging diagnostics. We developed a pipeline incorporating data preprocessing, model inference, and preference-based evaluation, expanding an initial set of 500 clinical cases to 3,000 through controlled augmentation. Our method combined medical images with clinical observations to generate assessments, using Claude 3.5 Sonnet for independent evaluation against physician-authored diagnoses. The results indicated varying performance across models, with Llama 3.2-90B outperforming human diagnoses in 85.27% of cases. In contrast, specialized vision models like BLIP2 and Llava showed preferences in 41.36% and 46.77% of cases, respectively. This framework highlights the potential of large multimodal models to outperform human diagnostics in certain tasks.

연구 동기 및 목표

• 복부 CT 진단에서 다중 모달 모델의 표준화된 평가 파이프라인 개발.
• robust한 모델 비교를 가능하게 하도록 임상 데이터셋 확장.
• 선호도 기반 평가를 사용하여 AI 모델과 의사 진단을 비교.
• 일반 목적 모델과 전문 시각 모델 간의 차이를 복합 진단 시나리오에서 대조.

제안 방법

• 비식별화, 아티팩트 처리, 동기화된 이미지-텍스트 증강을 통한 데이터 전처리.
• 각 모델에 대해 표준화된 입력으로 진단 보고서를 쌍으로 가지는 4-image CT 시퀀스를 인코딩.
• 여섯 개의 다중 모달 모델(네 가지 일반 목적, 두 가지 전문)을 활용하여 진단 보고서를 생성.
• Claude 3.5 Sonnet을 독립 평가자로 삼아 AI 우수 / 의사 우수 / 동등의 3자 평가를 수행.
• 모형 간 선호도 차이를 비교하기 위해 Bonferroni 보정이 적용된 카이제곱 검정을 사용.

Figure 1: Comparative Evaluation Framework for Multimodal Medical Diagnosis

실험 결과

연구 질문

• RQ1 일반 목적의 다중 모달 모델이 복잡한 복부 CT 진단에서 의사를 능가할 수 있는가?
• RQ2 다중 구조 진단 작업에서 전문 시각 모델이 일반 목적 모델과 비교하여 어떠한 차이를 보이는가?
• RQ3 제안된 선호도 기반 평가가 AI와 인간의 진단 능력을 신뢰성 있게 구분하는가?

주요 결과

• 일반 목적 모델은 대부분의 경우 의사 진단을 능가하며, Llama 3.2-90B가 85.27% AI Superior를 달성.
• GPT-4, GPT-4o, Gemini-1.5도 높은 AI Superior 비율을 보임(83.08%, 81.72%, 79.35%).
• 전문화된 시각 모델 BLIP2 및 Llava는 더 낮은 AI Superior 비율을 보임(41.36% 및 46.77%).
• 동등 비율은 대부분의 모델에서 약 1.39%로 낮아 성능 차이가 명확함.
• 통계 검정에서 일반 목적 모델의 p값이 < 0.001인 반면, BLIP2와 Llava의 p값은 각각 0.047 및 0.052로 보고됨.

Figure 2: Comparative Analysis Between Human and AI Diagnostic Assessments