[論文レビュー] Multimodal ChatGPT for Medical Applications: an Experimental Study of GPT-4V

Zhiling Yan, Kai Zhang+4 more|arXiv (Cornell University)|Oct 29, 2023

Artificial Intelligence in Healthcare and Education被引用数 33

ひとこと要約

本研究は、11のモダリティと15のオブジェクトからなる病理学および放射線画像データセットを横断して医療ビジュアル質問応答におけるGPT-4Vを評価し、現状のGPT-4Vは実世界の診断には信頼できないことを示し、7つの行動特性を特定した。

ABSTRACT

In this paper, we critically evaluate the capabilities of the state-of-the-art multimodal large language model, i.e., GPT-4 with Vision (GPT-4V), on Visual Question Answering (VQA) task. Our experiments thoroughly assess GPT-4V's proficiency in answering questions paired with images using both pathology and radiology datasets from 11 modalities (e.g. Microscopy, Dermoscopy, X-ray, CT, etc.) and fifteen objects of interests (brain, liver, lung, etc.). Our datasets encompass a comprehensive range of medical inquiries, including sixteen distinct question types. Throughout our evaluations, we devised textual prompts for GPT-4V, directing it to synergize visual and textual information. The experiments with accuracy score conclude that the current version of GPT-4V is not recommended for real-world diagnostics due to its unreliable and suboptimal accuracy in responding to diagnostic medical questions. In addition, we delineate seven unique facets of GPT-4V's behavior in medical VQA, highlighting its constraints within this complex arena. The complete details of our evaluation cases are accessible at https://github.com/ZhilingYan/GPT4V-Medical-Report.

研究の動機と目的

• 複数の画像モダリティと臓器にまたがる視覚ペアの医療質問に対して、GPT-4Vが回答する能力を評価する。
• 医療クエリにおけるGPT-4Vの局在、サイズ推定、および画像とテキストの統合を特徴づける。
• 医療VQA設定におけるGPT-4Vの強み、制限、行動パターンを特定する。
• 医療文脈においてGPT-4Vがいつどのように支援するか、あるいは誤解を招くかについての指針を提供する。

提案手法

• PathVQA、VQA-RAD、PMC-VQA のケースにわたって、画像入力を用いたChatGPTインターフェース経由でゼロショットプロンプトを用いてGPT-4Vを問う。
• 正解ラベルを使用して、閉じた質問（選択肢式）と自由回答の質問の正確度を評価する。
• 病理と放射線を横断する16種類の質問タイプを含む、11モダリティと15オブジェクトにまたがる133サンプルのデータセットを作成する。
• 難易度レベル（easy, medium, hard）および特定の質問タイプ（モダリティ認識、局在、サイズ推定など）にわたる性能を分析する。
• 医療VQAにおけるGPT-4Vの行動の7つの側面を特定し、手掛かりへの依存、サイズ推定の課題、テキスト的バイアスなどを含む。

実験結果

リサーチクエスチョン

• RQ1 GPT-4Vは病理画像と放射線画像を横断して医用画像モダリティを認識し、オブジェクトを局在できるか？
• RQ2 ゼロショット設定における医療VQAのGPT-4Vの正確度はどれくらいで、質問タイプと難易度によってどう変動するか？
• RQ3 医療VQAに適用した際のGPT-4Vの主な制限と行動パターンは何か？
• RQ4 VQA性能に基づいてGPT-4Vは実世界の診断支援に適しているか？

主な発見

• 病理全体のVQA正確度は29.9%、閉じた質問での正確度は35.3%である。
• 放射線VQAは全体で50.0%の正確度を達成し、easy 81.25%、medium 59.09%、hard 11.11% の問題である。
• GPT-4Vは容易な質問でより良い性能を示すが、難しい、複数スライス、サイズ推定タスクでは苦戦する。
• GPT-4Vは視覚データよりもテキスト文脈に依存することが多く、偏ったまたは不完全な解釈を招く。
• モデルは慎重である傾向があり、しばしば自分は医療専門家ではないと述べ、長い説明を提供する。
• 本研究は、正確性が信頼できないため、現実の診断用途にはGPT-4Vを推奨できないと結論づけている。
• 医療VQAにおけるGPT-4Vの7つの異なる行動特性が特定され、議論されている。