[논문 리뷰] Capabilities of Gemini Models in Medicine

Khaled Saab, Tao Tu외 65명|arXiv (Cornell University)|2024. 04. 29.

Simulation Techniques and Applications인용 수 89

한 줄 요약

Med-Gemini는 Gemini를 기반으로 의학 분야에 특화된 다중모달 모델군으로, 14개의 의학 벤치마크 중 10개에서 SoTA를 달성하고, 비교 대상이 있을 때 GPT-4를 능가하며, 웹 검색 통합 및 맞춤 인코더를 통한 강력한 장문맥 및 다중모달 능력을 보여준다.

ABSTRACT

Excellence in a wide variety of medical applications poses considerable challenges for AI, requiring advanced reasoning, access to up-to-date medical knowledge and understanding of complex multimodal data. Gemini models, with strong general capabilities in multimodal and long-context reasoning, offer exciting possibilities in medicine. Building on these core strengths of Gemini, we introduce Med-Gemini, a family of highly capable multimodal models that are specialized in medicine with the ability to seamlessly use web search, and that can be efficiently tailored to novel modalities using custom encoders. We evaluate Med-Gemini on 14 medical benchmarks, establishing new state-of-the-art (SoTA) performance on 10 of them, and surpass the GPT-4 model family on every benchmark where a direct comparison is viable, often by a wide margin. On the popular MedQA (USMLE) benchmark, our best-performing Med-Gemini model achieves SoTA performance of 91.1% accuracy, using a novel uncertainty-guided search strategy. On 7 multimodal benchmarks including NEJM Image Challenges and MMMU (health & medicine), Med-Gemini improves over GPT-4V by an average relative margin of 44.5%. We demonstrate the effectiveness of Med-Gemini's long-context capabilities through SoTA performance on a needle-in-a-haystack retrieval task from long de-identified health records and medical video question answering, surpassing prior bespoke methods using only in-context learning. Finally, Med-Gemini's performance suggests real-world utility by surpassing human experts on tasks such as medical text summarization, alongside demonstrations of promising potential for multimodal medical dialogue, medical research and education. Taken together, our results offer compelling evidence for Med-Gemini's potential, although further rigorous evaluation will be crucial before real-world deployment in this safety-critical domain.

연구 동기 및 목표

• Gemini 기반으로 의학 AI의 임상 추론 및 다중모달 이해를 향상시킨다.
• 텍스트, 다중모달, 장문맥 벤치마크 전반에서 Med-Gemini를 평가하여 SoTA 성능을 확립한다.
• 의료 과제에서 웹 검색 기반 보강 및 모달리티 특화 인코더의 이점을 입증한다.
• 의료 노트 요약 및 의뢰서 작성에서 실제 활용 가능성을 평가한다.
• 배포 전 안전성 고려사항 및 엄격한 검증의 필요성을 강조한다.

제안 방법

• 웹 검색 기반의 Med-Gemini L 1.0(웹-검색 기반)과 다중모달 작업용 Med-Gemini M 1.0/1.5를 만들기 위해 Gemini 1.0 Ultra 및 1.0 Pro를 미세조정한다.
• 추론 설명(CoTs) 및 사고 체인 프롬프트를 포함한 자기훈련 데이터 개발; MedQA-R 및 MedQA-RS 데이터셋 생성.
• 필요 시 웹 검색을 트리거하도록 추론 시 불확실성 기반 검색 구현 및 검색된 결과를 프롬프트에 통합한다.
• 여덟 개의 다중모달 의학 데이터셋에서 미세조정하여 Med-Gemini-M 1.5를 형성하고 특수 인코더(예: ECG)로 새로운 모달리티를 위한 인코더를 생성한다.
• 장문맥 구성 및 추론 체인를 활용하여 haystack 같은 EHR 검색 및 의학 비디오 이해 작업에 대응한다.
• MedQA(USMLE), NEJM CPC, GeneTuring 등을 포함하여 14개 벤치마크에 걸친 25개 과제를 벤치마크한다.

Figure 1 : Overview of our contributions. We introduce Med-Gemini , a family of highly capable, multimodal medical models built upon Gemini. We enhance our models’ clinical reasoning capabilities through self-training and web search integration, while improving multimodal performance via fine-tuning

실험 결과

연구 질문

• RQ1 Med-Gemini가 텍스트, 다중모달, 장문맥 등 다양한 의료 과제에서 SoTA를 달성할 수 있는가?
• RQ2 웹 검색 기반 보강과 불확실성 가이드 추론이 의료 추론 정확도를 향상시키는가?
• RQ3 모달리티 특화 인코더가 새로운 의료 데이터(예: ECG) 및 장문맥 EHR에 Med-Gemini를 얼마나 잘 확장할 수 있는가?
• RQ4 의료 노트 요약 및 의뢰서 작성과 같은 작업에서 Med-Gemini의 실제 활용성은 무엇인가?
• RQ5 직접 비교가 가능한 벤치마크에서 Med-Gemini가 GPT-4와 어떻게 비교되는가?

주요 결과

• Med-Gemini는 14개 의학 벤치마크 중 10개에서 SoTA 성능을 달성하고, 비교가 가능한 경우 GPT-4를 능가한다.
• MedQA(USMLE)에서 최상의 Med-Gemini 모델은 91.1% 정확도에 도달하여 Med-PaLM 2를 4.6% 포인트 앞선다.
• 불확실성 기반 검색은 NEJM CPC 및 GeneTuring 벤치마크에 일반화되어 SoTA 결과를 달성한다.
• 다중모달 벤치마크에서 7개 과제 중 5개에서 SoTA를 달성하고, GPT-4V에 비해 평균 44.5% 상대 여유를 통해 개선된다.
• 장문맥 능력은 haystack 같은 EHR 이해 및 의학 영상 질의응답 SoTA 결과를 가능하게 한다.
• 벤치마크를 넘어 Med-Gemini는 의학 노트 요약 및 의뢰서 생성에서 잠재적 실제 활용 가능성을 보여주며, 질적 다중모달 대화 시연도 제공한다.

Figure 2 : Self-training and search tool-use. The left panel illustrates the self-training with search framework used to fine-tune Med-Gemini-L 1.0 for advanced medical reasoning and use of web search. This framework iteratively generates reasoning responses (CoTs) with and without web search, impro