[論文レビュー] Holistic Evaluation of GPT-4V for Biomedical Imaging

Zhengliang Liu, Hanqi Jiang+48 more|arXiv (Cornell University)|Nov 10, 2023

Artificial Intelligence in Healthcare and Education被引用数 12

ひとこと要約

この論文は、GPT-4Vの生物医療画像タスクにおける能力を大規模かつ多領域で評価し、モダリティ認識、局在化、診断、報告生成を16の画像ドメインにわたって調査する。モダリティ/解剖認識と画像キャプション生成の強みを特定し、病気診断と正確な局在化には限界がある。

ABSTRACT

In this paper, we present a large-scale evaluation probing GPT-4V's capabilities and limitations for biomedical image analysis. GPT-4V represents a breakthrough in artificial general intelligence (AGI) for computer vision, with applications in the biomedical domain. We assess GPT-4V's performance across 16 medical imaging categories, including radiology, oncology, ophthalmology, pathology, and more. Tasks include modality recognition, anatomy localization, disease diagnosis, report generation, and lesion detection. The extensive experiments provide insights into GPT-4V's strengths and weaknesses. Results show GPT-4V's proficiency in modality and anatomy recognition but difficulty with disease diagnosis and localization. GPT-4V excels at diagnostic report generation, indicating strong image captioning skills. While promising for biomedical imaging AI, GPT-4V requires further enhancement and validation before clinical deployment. We emphasize responsible development and testing for trustworthy integration of biomedical AGI. This rigorous evaluation of GPT-4V on diverse medical images advances understanding of multimodal large language models (LLMs) and guides future work toward impactful healthcare applications.

研究の動機と目的

• 様々な生物医療画像モダリティ（例：X線、MRI、CT、顕微鏡画像）を横断してGPT-4Vを評価し、モダリティ認識能力を評価する。
• 生物医療画像内の解剖学的構造を局在化するGPT-4Vの能力を評価する。
• 生物医療タスクにおけるGPT-4Vの画像分類/診断性能をベンチマークする。
• 医療画像から診断風のレポートを生成するGPT-4Vの能力を検証する。
• 責任ある臨床展開のための強み・限界・示唆を提供する。

提案手法

• GPT-4Vを用いて、複数の公開胸部レントゲンデータセット（例：MIMIC-CXR、CheXpert、ChestXray2017、COVID-Qu-Ex、OpenI、SIIM-ACR、NIH Chest X-rays）に対してゼロショットおよび直接分類を実施する。
• GPT-4Vが多クラスラベルを出力し、所見と所見の要約を含む構造化診断レポートを生成できるかを評価する。
• 評価を神経画像、放射線治療計画の腫瘍画像、細胞診、眼科、医療ロボティクス、神経疾患画像、生物画像、心臓画像、超音波、核医学、内視鏡、皮膚科学、遺伝学、整形/小児、歯科画像まで拡張する。
• 神経画像では、高解像度データセット（例：R1741 mouse brain、Allen Brain Institute atlas）を用いて知識移転と再構成品質評価を検討する。
• 腫瘍画像ではTCIAデータセット（Burdenko-GBM-Progression、GLIS-RT、Lung-PET-CT-Dx）と乳房X線（DDSM）を用いて多模合成評価を行う。
• 細胞病理にはLC25000とALLデータセットを用い、病理細胞レベルの診断能力を評価し、病期診断の限界を含める。

実験結果

リサーチクエスチョン

• RQ1 GPT-4Vは多様な生物医療データセットに対して画像モダリティと解剖領域を信頼性高く認識できるか？
• RQ2 GPT-4Vは生物医療画像における病気診断と病変局在化をどれだけうまく行えるか？
• RQ3 GPT-4Vは画像から一貫性があり臨床上有用な放射線診断レポートまたは病理レポートを生成する能力があるか？
• RQ4 放射線科以外の生物医療画像タスク（例：眼科、病理、神経科学、生物学、ロボティクス）に適用した場合の長所と限界は？
• RQ5 臨床や研究設定でGPT-4Vのような生物医療マルチモーダルLLMを責任ある検証と展開を行うために必要な留意点は？

主な発見

• GPT-4Vは複数の画像ドメインにおいてモダリティ認識と解剖学的局在に熟練している。
• GPT-4Vは診断レポート生成に長けており、画像キャプション生成能力が高いことを示している。
• GPT-4Vは病気診断と病変の正確な局在化にはいくつかのタスクで困難を経験する。
• 追加の文脈的プロンプトとドメイン情報を用いるとパフォーマンスが向上するが、臨床の高リスク意思決定にはギャップが残る。
• 本研究は生物医療AGI展開のために厳格な検証、バイアス評価、人間の介在による監視の必要性を強調している。