[論文レビュー] Multimodal Foundation Models Exploit Text to Make Medical Image Predictions

Thomas Buckley, James A. Diao+3 more|arXiv (Cornell University)|Nov 9, 2023

Artificial Intelligence in Healthcare and Education被引用数 16

ひとこと要約

本論文は、多模態医療AIモデルが医用画像から予測する際に主にテキスト情報に依存していること、そしてテキストが画像ベースの性能を向上させることもあれば劇的に低下させることもあることを示している。

ABSTRACT

Multimodal foundation models have shown compelling but conflicting performance in medical image interpretation. However, the mechanisms by which these models integrate and prioritize different data modalities, including images and text, remain poorly understood. Here, using a diverse collection of 1014 multimodal medical cases, we evaluate the unimodal and multimodal image interpretation abilities of proprietary (GPT-4, Gemini Pro 1.0) and open-source (Llama-3.2-90B, LLaVA-Med-v1.5) multimodal foundational models with and without the use of text descriptions. Across all models, image predictions were largely driven by exploiting text, with accuracy increasing monotonically with the amount of informative text. By contrast, human performance on medical image interpretation did not improve with informative text. Exploitation of text is a double-edged sword; we show that even mild suggestions of an incorrect diagnosis in text diminishes image-based classification, reducing performance dramatically in cases the model could previously answer with images alone. Finally, we conducted a physician evaluation of model performance on long-form medical cases, finding that the provision of images either reduced or had no effect on model performance when text is already highly informative. Our results suggest that multimodal AI models may be useful in medical diagnostic reasoning but that their accuracy is largely driven, for better and worse, by their exploitation of text.

研究の動機と目的

• テキスト記述の有無によらず、多模態基盤モデルが医用画像をどのように解釈するかを評価する。
• 特許型およびオープンソースモデル全体で、画像とテキストの相対的寄与を検討する。
• 情報量の多いテキストがモデル予測と医療画像解釼における人間の性能にどのように影響するかを調査する。
• 軽度の不正確なテキストプロンプトが画像ベースの分類結果に及ぼす影響を評価する。
• 長文の医療ケースにおけるモデル性能について医師の見解を提供する。

提案手法

• 多様な1014件の多模態医療ケースを収集する。
• モデル間で単一モダリティおよび多模態画像解釈を評価する（GPT-4、Gemini Pro、Llama-3.2-90B、LLaVA-Med-v1.5）。
• テキスト記述の有無によるモデル性能を比較する。
• テキストの説明性が予測精度とどのように相関するかを分析する。
• 長文ケースに対して医師による評価を行い、画像のみとテキスト/画像入力を比較する。

実験結果

リサーチクエスチョン

• RQ1 多模態モデルは医療予測において画像データよりもテキストに依存しているのか。
• RQ2 テキストの量と情報量が、モデル間で予測精度にどのように影響するか。
• RQ3 テキスト情報を提供することが、医師と同等レベルの医用画像解釈を向上させるのか、それとも低下させるのか。
• RQ4 不正確または誤解を招くテキストプロンプトの導入が、画像ベースの予測に与える影響は何か。
• RQ5 医師の評価による長文臨床シナリオにおけるテキストと画像の相互作用はどうなるか。

主な発見

• モデル間の画像予測は、主にテキストを利用することで動かされていた。
• より情報量の多いテキストによって、モデルの精度は向上した。
• 医療画像解釈における人間の性能は、情報量の多いテキストで向上しなかった。
• 軽度の不正確なテキストプロンプトは、画像ベースの分類性能を大幅に低下させうる。
• 長文ケースでは、非常に情報量の多いテキストを含む画像の提供は、モデル性能を低下させるか、改善しなかった。
• 結果は、多模態モデルが診断推論をサポートする可能性を示す一方で、テキストの活用に大きく影響されることを示唆している。