[논문 리뷰] Advancing Multimodal Medical Capabilities of Gemini

Lin Yang, Shawn Xu외 45명|arXiv (Cornell University)|2024. 05. 06.

Biomedical and Engineering Education인용 수 28

한 줄 요약

이 연구는 Gemini를 의학에 특화된 미세조정으로 확장한 Med-Gemini를 소개합니다. Gemini로 구축된 의학적으로 조정된 멀티모달 모델 계열로, 2D/3D 방사선학, 조직병리학, 안과학, 피부과학, 및 게놈 데이터에 대해 미세조정되었으며, 여러 의학 과제에서 최첨단 결과를 달성하고 2D/3D 리포트 생성 및 다유전 위험 예측을 시연합니다.

ABSTRACT

Many clinical tasks require an understanding of specialized data, such as medical images and genomics, which is not typically found in general-purpose large multimodal models. Building upon Gemini's multimodal models, we develop several models within the new Med-Gemini family that inherit core capabilities of Gemini and are optimized for medical use via fine-tuning with 2D and 3D radiology, histopathology, ophthalmology, dermatology and genomic data. Med-Gemini-2D sets a new standard for AI-based chest X-ray (CXR) report generation based on expert evaluation, exceeding previous best results across two separate datasets by an absolute margin of 1% and 12%, where 57% and 96% of AI reports on normal cases, and 43% and 65% on abnormal cases, are evaluated as "equivalent or better" than the original radiologists' reports. We demonstrate the first ever large multimodal model-based report generation for 3D computed tomography (CT) volumes using Med-Gemini-3D, with 53% of AI reports considered clinically acceptable, although additional research is needed to meet expert radiologist reporting quality. Beyond report generation, Med-Gemini-2D surpasses the previous best performance in CXR visual question answering (VQA) and performs well in CXR classification and radiology VQA, exceeding SoTA or baselines on 17 of 20 tasks. In histopathology, ophthalmology, and dermatology image classification, Med-Gemini-2D surpasses baselines across 18 out of 20 tasks and approaches task-specific model performance. Beyond imaging, Med-Gemini-Polygenic outperforms the standard linear polygenic risk score-based approach for disease risk prediction and generalizes to genetically correlated diseases for which it has never been trained. Although further development and evaluation are necessary in the safety-critical medical domain, our results highlight the potential of Med-Gemini across a wide range of medical tasks.

연구 동기 및 목표

• Gemini를 의학적으로 집중된 미세조정으로 확장하여 다양한 임상 모달리티(2D/3D 영상, 게놈 및 텍스트)를 처리하면서 일반적인 멀티모달 추론을 유지합니다.
• Med-Gemini를 방사선의학, 병리학, 안과학, 피부과학 및 게놈에서 벤치마크하여 임상 활용성 및 일반화를 평가합니다.
• 2D/3D 방사선 리포트 생성, VQA, 영상 분류 및 게놈 위험 예측을 공개 벤치마크 및 전문가 판단에 대해 평가합니다.
• Med-Gemini가 여러 clinically 관련 작업에서 특정 모델에 접근하거나 이를 능가할 가능성을 보입니다.

제안 방법

• Med-Gemini 변형(2D, 3D, Polygenic)을 Gemini 1.5 Pro에서 약 7백만 샘플의 데이터셋으로 미세조정합니다. 이 데이터는 3.7백만 개의 의학 이미지/케이스를 포함합니다.
• 멀티모달 해석을 개선하기 위해 2D, 3D 및 게놈 데이터용 세 가지 사용자 정의 시각 인코더를 사용합니다.
• 정밀한 방사선 리포트 생성을 위한 중요한 작업에서 전문가 평가를 통해 캡션 생성 또는 VQA 태스크로 미세조정 프레이밍을 수행합니다.
• 방사선 데이터를 표준화된 2D 슬라이스 및 3D 볼륨으로 전처리하고, 게놈 특징(PRS)을 이미지와 유사한 표현으로 변환하여 Polygenic 태스크를 수행합니다.
• 개방형 및 보류된 out-of-distribution 데이터 세트를 포함하여 5개의 태스크 및 6개의 모달리티에서 22개의 데이터셋을 평가합니다.

실험 결과

연구 질문

• RQ1 Med-Gemini가 2D 흉부 X-레이 및 3D CT 볼륨에 대해 전문가 품질의 방사선 리포트 생성을 달성할 수 있는가?
• RQ2 의 방사선 VQA, 영상 분류 및 병리학/안과학/피부과학 태스크에서 Med-Gemini의 성능은 baseline 또는 SoTA에 비해 어떤가?
• RQ3 Med-Gemini-Polygenic이 표준 PRS 접근법에 비해 게놈 임베딩을 사용한 질병 위험 예측에서 우수하며 훈련 중 보지 못한 상관 질환으로 일반화되는가?
• RQ4 다양한 의료 데이터 모달리티와 보류된 데이터셋에서 Med-Gemini의 일반화 능력은 어떠한가?

주요 결과

• Med-Gemini-2D는 흉부 X-레이 리포트 생성에서 AI 기반의 새 기준을 세웠으며, 두 데이터셋에서 이전 최상 결과를 절대적 차이로 1% 및 12%를 상회했습니다; 정상 케이스에 대한 AI 리포트는 방사선과 의사 간에 57% 및 96%의 케이스에서 동등하거나 더 나은 것으로 평가되었고, 이상 케이스에서는 각각 43% 및 65%였습니다.
• Med-Gemini-3D는 3D CT 볼륨에 대해 53% 임상 수용 가능성을 달성했으며, 대형 멀티모달 모델 기반의 3D CT 리포트 생성의 첫 결과를 나타내지만 추가 개선이 필요합니다.
• Med-Gemini-2D는 흉부 X-레이 VQA에서 이전 최상 결과를 능가하고 CXR 분류 및 방사선 VQA에서 강력한 성능을 보이며 20개 작업 중 17개에서 SoTA 또는 베이스라인을 능가합니다.
• 히스토로피스, 안과학 및 피부과학 이미지 분류에서 Med-Gemini-2D는 20개 작업 중 18개에서 베이스라인을 능가하고 작업별 모델 성능에 근접합니다.
• Med-Gemini-Polygenic은 질병 위험 예측에 대해 표준 선형 PRS 접근법을 능가하고 훈련 중 보지 못한 유전적으로 상관된 질병으로 일반화합니다.