[論文レビュー] MedGemma Technical Report

Andrew Sellergren, Sahar Kazemzadeh+79 more|ArXiv.org|Jul 7, 2025

COVID-19 diagnosis using AI被引用数 20

ひとこと要約

MedGemmaは、Gemma 3を基盤とした医療チューニング済みのvision–language基盤モデル（4B multimodal および 27B text-only）とMedSigLIPエンコーダを導入し、強力な医療推論を実現し、いくつかの課題で従来より優位に、ファインチューニングにより領域特化の性能がさらに向上します。

ABSTRACT

Artificial intelligence (AI) has significant potential in healthcare applications, but its training and deployment faces challenges due to healthcare's diverse data, complex tasks, and the need to preserve privacy. Foundation models that perform well on medical tasks and require less task-specific tuning data are critical to accelerate the development of healthcare AI applications. We introduce MedGemma, a collection of medical vision-language foundation models based on Gemma 3 4B and 27B. MedGemma demonstrates advanced medical understanding and reasoning on images and text, significantly exceeding the performance of similar-sized generative models and approaching the performance of task-specific models, while maintaining the general capabilities of the Gemma 3 base models. For out-of-distribution tasks, MedGemma achieves 2.6-10% improvement on medical multimodal question answering, 15.5-18.1% improvement on chest X-ray finding classification, and 10.8% improvement on agentic evaluations compared to the base models. Fine-tuning MedGemma further improves performance in subdomains, reducing errors in electronic health record information retrieval by 50% and reaching comparable performance to existing specialized state-of-the-art methods for pneumothorax classification and histopathology patch classification. We additionally introduce MedSigLIP, a medically-tuned vision encoder derived from SigLIP. MedSigLIP powers the visual understanding capabilities of MedGemma and as an encoder achieves comparable or better performance than specialized medical image encoders. Taken together, the MedGemma collection provides a strong foundation of medical image and text capabilities, with potential to significantly accelerate medical research and development of downstream applications. The MedGemma collection, including tutorials and model weights, can be found at https://goo.gle/medgemma.

研究の動機と目的

• Openに医療チューニング済み vision-language foundation modelsを開発して、医療AI研究と展開を加速する。
• Imagesとテキストの間で医療的理解と推論を示し、タスク固有のモデルに近い汎用性を持つ。
• RadiologyやHistopathologyのようなサブドメインでの分布外パフォーマンスとファインチューニングの利点を評価する。
• MedGemmaを支える医療チューニング済みビジョンエンコーダーとしてMedSigLIPを導入する。
• MedGemmaモデルウェイトのダウンロードと利用のためのガイドとリソースを提供する。

提案手法

• Gemma 3アーキテクチャ上にMedGemma variantsを構築し、4B multimodalと27B text-onlyモデルを作成する。
• 896x896入力解像度に対応するGemmaサイズ間で共有されるSigLIP-400Mビジョンエンコーダを組み込む。
• 一般データと医療データのミックスで事前学習を行い、視覚と言語の整合性を適応させる医療志向の事前学習フェーズを実施する。
• 医療テキストデータでの蒸留を伴う後期学習と、医療画像–テキストデータに対する強化学習を適用して能力を顕在化させる。
• サブドメイン（例：胸部X線レポート、病理組織、電子カルテ検索）でファインチューニングを行い、領域特化タスクの性能を改善する。
• MedSigLIP 400M（画像エンコーダ）を448x448バリアントとともに公開し、ダウンロード用のチュートリアルとウェイトを提供する。

実験結果

リサーチクエスチョン

• RQ1 MedGemmaは同サイズのベースGemma 3モデルと比較して、医療テキストQAベンチマークでどの程度性能を発揮するのか。
• RQ2 医療画像理解とマルチモーダル推論におけるMedGemmaの利得は、特に分布外タスクでどう現れるか。
• RQ3 サブドメインでMedGemmaをファインチューニングすることで、放射線科・皮膚科・病理組織分類タスクの性能が改善されるか。
• RQ4 MedSigLIP画像エンコーダは、専門化されたエンコーダと比べて医療視覚理解にどのように貢献するか。
• RQ5 医療タスクへ専門化した場合、一般用途ベンチマークでの性能トレードオフはどうなるか。

主な発見

• MedGemma 4Bは、従来のSOTAモデルと比較して小型でありながらVision Question Answeringで強力なパフォーマンスを示す。
• MedGemma 4Bと27Bは、MedQA、MedMCQA、PubMedQA、MMLU Med、AfriMed-QA、AgentClinicなどの難易度の高いテキスト専用ベンチマークで、同規模の公開モデルと競争力を持つ。
• MedGemmaは、医療マルチモーダルQAで2.6-10%の改善、胸部X線所見分類で15.5-18.1%の改善、分布外タスクのエージェンティック評価で基モデルと比較して10.8%の改善を達成。
• サブドメインでのファインチューニングにより電子カルテ情報検索エラーが50%削減され、気胸分類と病理組織パッチタイプ分類の最先端手法と同等の性能に到達する。
• MedSigLIP（医療画像エンコーダ）は、専門化された医療画像エンコーダと同程度以上の性能を発揮し、MedGemmaと併用することで効率的な医療画像理解を実現する。
• MedGemmaコレクションは、強力な医療画像とテキストの基盤を提供し、医療研究と下流アプリケーションの加速に寄与する可能性を持つ。