[論文レビュー] GPT-4 Vision on Medical Image Classification -- A Case Study on COVID-19 Dataset

Ruibo Chen, Tianyi Xiong+7 more|arXiv (Cornell University)|Oct 27, 2023

COVID-19 diagnosis using AI被引用数 4

ひとこと要約

本研究では、COVID-19 X線データセットを用いた文脈内学習（in-context learning）を活用して、視覚言語基盤モデルGPT-4Vを医用画像分類に応用する可能性を調査している。タスク固有のプロンプトを設計することで、GPT-4Vは微調整されたCNN（例：ResNet-18 や VGG-16）と同等の分類精度を、少データ学習（few-shot）設定でも達成しており、従来のデータ集約型トレーニング手法に代わる大規模モデルの可能性を示している。

ABSTRACT

This technical report delves into the application of GPT-4 Vision (GPT-4V) in the nuanced realm of COVID-19 image classification, leveraging the transformative potential of in-context learning to enhance diagnostic processes.

研究の動機と目的

• 微調整を一切行わない状態で、大規模な視覚言語基盤モデルGPT-4Vを医用画像分類に応用する可能性を検討すること。
• 洗練されたプロンプトを用いた文脈内学習が、少データ学習設定において従来のディーブラーニングモデルの性能を上回るか、同等に抑えることができるかを評価すること。
• プロンプト工学、特に推論の説明を含めた構造の影響が、医用画像分類におけるGPT-4Vの性能に与える影響を調査すること。
• 実世界のCOVID-19 X線データセットを用い、GPT-4Vの性能を、完全学習および少データ学習の両条件下で、確立されたCNNベースのモデル（ResNet-18, VGG-16）と比較すること。

提案手法

• 本研究では、画像分類のための入力-出力デモンストレーションを含むプロンプトテンプレートを用いて、GPT-4Vを文脈内学習（ICL）で誘導する手法を採用した。
• タスク固有性、構造、推論の根拠の有無を変化させた複数のプロンプトバージョン（ICL1～ICL4、ICL-R1、ICL-R2）を設計した。
• 臨床的文脈と分類ルールを統合したプロンプトを構築し、GPT-4Vの事前学習済み知識を活用してゼロショットまたは少データ学習への適応を実現した。
• 画像処理は個別処理または一括処理（複数画像を1つの入力に統合）のいずれかで実施し、モデルの注目メカニズムと性能の一貫性を評価した。
• 比較のため、ベースラインモデル（ResNet-18 および VGG-16）を全データセットおよび6ショットのサブセットで微調整した。
• 評価指標には、テストセット（46枚のX線画像：26例がCOVID、20例が正常）における適合率、再現率、F1スコア、全体精度を用いた。

実験結果

リサーチクエスチョン

• RQ1 微調整を一切行わない状態で、GPT-4Vが文脈内学習のみを用いて医用画像分類で競争力のある精度を達成できるか？
• RQ2 プロンプト設計（特に構造、推論の説明の有無、画像の統合）が、少データ医用画像分類におけるGPT-4Vの性能にどのように影響するか？
• RQ3 プロンプトに推論の説明を統合することで、GPT-4Vの医用X線分類精度が向上するか？
• RQ4 完全学習および少データ学習の両条件下で、GPT-4Vの性能は微調整されたCNN（ResNet-18, VGG-16）と比べてどうか？

主な発見

• ICL4プロンプトを用いたGPT-4Vは全体精度85%を達成し、6ショット微調整済みのResNet-18（74%）およびVGG-16（80%）を上回った。
• ICL4プロンプトバージョンは、COVID症例でF1スコア0.85、正常例で0.84を記録し、両クラスにわたる良好な一般化性能を示した。
• すべての画像を1つの入力に統合することで、個別処理よりも性能が向上した。これは、GPT-4Vがより効果的に注目を分散させられることを示唆している。
• プロンプトに推論の説明を追加した（ICL-R1、ICL-R2）が、性能向上にはつながらず、場合によっては結果が劣化した。これは、提供された根拠とモデルの理解の間に不整合がある可能性を示している。
• ICL4を用いたGPT-4Vは、正常クラスで適合率95%、再現率95%を達成し、完全微調整済みのResNet-18（適合率95%、再現率90%）を上回り、VGG-16ベースライン（適合率100%、再現率92%）と同等の性能を示した。
• 複数のランダムシードで実行した結果、平均的に安定した性能を示しており、5回の実行で平均結果を報告した。これは、少データ学習設定下でのモデルの頑健性を示している。