[論文レビュー] Med-Flamingo: a Multimodal Medical Few-shot Learner

Michael Moor, Qian Huang+7 more|arXiv (Cornell University)|Jul 27, 2023

Multimodal Machine Learning Applications被引用数 45

ひとこと要約

Med-Flamingo は Flamingo を医療ドメインへ適用し、生成的医療 VQA の多モーダル少数ショット学習を可能にする。臨床医評価の自由回答と新しい Visual USMLE データセットで評価。

ABSTRACT

Medicine, by its nature, is a multifaceted domain that requires the synthesis of information across various modalities. Medical generative vision-language models (VLMs) make a first step in this direction and promise many exciting clinical applications. However, existing models typically have to be fine-tuned on sizeable down-stream datasets, which poses a significant limitation as in many medical applications data is scarce, necessitating models that are capable of learning from few examples in real-time. Here we propose Med-Flamingo, a multimodal few-shot learner adapted to the medical domain. Based on OpenFlamingo-9B, we continue pre-training on paired and interleaved medical image-text data from publications and textbooks. Med-Flamingo unlocks few-shot generative medical visual question answering (VQA) abilities, which we evaluate on several datasets including a novel challenging open-ended VQA dataset of visual USMLE-style problems. Furthermore, we conduct the first human evaluation for generative medical VQA where physicians review the problems and blinded generations in an interactive app. Med-Flamingo improves performance in generative medical VQA by up to 20\% in clinician's rating and firstly enables multimodal medical few-shot adaptations, such as rationale generation. We release our model, code, and evaluation app under https://github.com/snap-stanford/med-flamingo.

研究の動機と目的

• 少数ショット機能を備えた医療ドメインでの多モーダル・インコンテキスト学習を喚起し、実現する。
• 教科書と PubMed ソースからの医療画像-テキストの交互データを用いて、医療適用のビジョン-ランゲージモデルを事前学習する。
• 臨床医によるヒト評価を通じて、生成的医療VQAと推論根拠の生成を示す。
• 複数の専門分野にまたがる新規の Visual USMLEスタイルのVQAデータセットを作成・公開する。

提案手法

• MTB データセットを含む医療画像-テキストの交互データとペアされた PMC-OA データで、OpenFlamingo-9B の事前学習を継続して Med-Flamingo を構築する。
• ペアデータと交互データを組み合わせた結合目的関数で学習し、λを1に設定する。
• 臨床に基づく評価指標を用いて、VQA-RAD、PathVQA、Visual USMLE での少数ショット生成医療VQAを評価する。
• 臨床医が0–10の臨床有用性スケールで生成物を評価するブラインドなヒューマン評価アプリを実施する。
• Vision Transformer 埋め込みと FAISS を用いて、事前学習データと評価データセット間の視覚的に類似した画像を特定して重複除去とリークを防ぐ。

実験結果

リサーチクエスチョン

• RQ1 ビジョン-ランゲージモデルを、医療における少数ショットのプロンプトで多モーダル・インコンテキスト学習を実行できるように適応できるか？
• RQ2 生成的医療VQAの出力（推論根拠を含む）は、多様な医療モダリティや専門分野にわたる臨床医の判断と一致するか？
• RQ3 教科書とPMCからのテキストと画像を含む医療ドメインの事前学習データセットは、一般ドメインのベースラインと比較して少数ショットのVQA性能を向上させるか？
• RQ4 少数ショットのプロンプトが、生成された推論根拠と診断の現実性および臨床的有用性に与える影響は？
• RQ5 新規の Visual USMLEスタイルデータセットは、放射線診断や病理学以外のタスクも含め、意味のある形で多モーダル医療VQAを挑戦・評価できるか？

主な発見

• 少数ショット設定の Med-Flamingo は、3つの生成的医療VQAデータセット全体で最も高い平均臨床医評価点を達成し、ベースラインを最大20%上回る。
• 本モデルは複雑な質問に対する推論と推論根拠の生成を可能にし、従来の多モーダル医療基盤モデルでは示されていなかった能力を提供する。
• Visual USMLE は、画像、ケース・ビネット、検査値を補助した専門を横断する多モーダル問題を提示し、放射線診断・病理データセットを超えて拡張している。
• デデュプリケーションにより、PVQA のテスト画像が事前学習データからリークしていることが判明した。高度に類似した画像194件を除去して評価の整合性を確保した。
• VQA-RAD および PathVQA 全体で、自動指標（BERT-sim、Exact-match）は臨床的有用性を確実に反映せず、人間による評価の重要性を強調している。
• Med-Flamingo は強力な少数ショット性能を示しつつ、安全性の注意点と潜在的なハルシネーションを維持しており、さらなるデータとアライメント作業の必要性を浮き彫りにしている。