[論文レビュー] Can Large Language Models Challenge CNNs in Medical Image Analysis?

Shibbir Ahmed, Shahnewaz Karim Sakib+1 more|ArXiv.org|May 29, 2025

Radiomics and Machine Learning in Medical Imaging被引用数 3

ひとこと要約

この論文は医療画像分類におけるCNNとLLM（GPT-4oとLlama3.2-vision）をX線、MRI、CTデータセットで比較し、CNNが一般的に優れている一方、データフィルタリングの強化によりLLMの性能と効率が向上することを示しています。

ABSTRACT

This study presents a multimodal AI framework designed for precisely classifying medical diagnostic images. Utilizing publicly available datasets, the proposed system compares the strengths of convolutional neural networks (CNNs) and different large language models (LLMs). This in-depth comparative analysis highlights key differences in diagnostic performance, execution efficiency, and environmental impacts. Model evaluation was based on accuracy, F1-score, average execution time, average energy consumption, and estimated $CO_2$ emission. The findings indicate that although CNN-based models can outperform various multimodal techniques that incorporate both images and contextual information, applying additional filtering on top of LLMs can lead to substantial performance gains. These findings highlight the transformative potential of multimodal AI systems to enhance the reliability, efficiency, and scalability of medical diagnostics in clinical settings.

研究の動機と目的

• diverse medical imaging datasets (X-ray, MRI, CT)でCNNとLLMをベンチマークする。
• CNNとLLMの計算効率と環境影響を分析する。
• LLMの分類信頼性と効率を改善するための高度なデータフィルタリングを検討する。
• 臨床現場でのモデル予測の信頼性校正と信頼性を評価する。

提案手法

• 胸部X線、脳MRI、胸部CTデータセットでCNNとLLMアーキテクチャ（GPT-4o、Llama3.2-vision）を評価する。
• 性能指標として精度、F1スコア、平均信頼度を用いる。
• 資源効率のために平均実行時間、エネルギー消費、推定CO2排出量を測定する。
• 文脈特徴とターゲット質問を用いた多段階のデータフィルタリングパイプラインを実装する。

Fig. 3 : Context Aggregation and Question Formulation

実験結果

リサーチクエスチョン

• RQ1 CNNとLLMは異なる医用画像モダリティで精度とF1スコアにおいてどう比較されるか？
• RQ2 CNNとLLMの予測性能と計算資源使用のトレードオフはどうなるか？
• RQ3 高度なデータフィルタリングは医用画像タスクにおいてLLMの診断性能と効率を改善できるか？
• RQ4 信頼度スコアを用いたLLM予測の信頼性はCNNと比較してどうか？

主な発見

Dataset	Model	Acc.	F-1	Avg. CS
Chest X-ray	CNN	0.83	0.83	0.79
Chest X-ray	GPT-4o	0.62	0.54	0.93
Chest X-ray	Llama3.2-vision	0.65	0.64	0.92
MRI	CNN	0.98	0.99	0.99
MRI	GPT-4o	0.60	0.58	0.93
MRI	Llama3.2-vision	0.52	0.51	0.85
Chest CT	CNN	0.91	0.90	0.94
Chest CT	GPT-4o	0.22	0.14	0.91
Chest CT	Llama3.2-vision	0.50	0.48	0.80

• 三つのモダリティ全てにおいてCNNはLLMよりも精度とF1スコアで上回る（Chest X-ray: CNN 0.83 対 GPT-4o 0.62；MRI: CNN 0.98+ 対 GPT-4o 0.60；Chest CT: CNN 0.91 対 GPT-4o 0.22）。
• GPT-4oはCNNより高い平均信頼度を達成する一方、精度が著しく低く、誤りに対して過信的であることを示している。
• Llama3.2-visionは中程度の精度を示す（Chest X-ray 0.65；MRI 0.52；Chest CT 0.50）で、信頼度スコアは相対的に高いがCNNの性能には及ばない。
• LLMの文脈質問付き高度なデータフィルタリングはChest X-rayの精度を62%から82.01%に引き上げ、平均実行時間を6.23秒から2.35秒、エネルギーを1.84から1.65W-hへ削減する。
• CNNはデータセット全体で最も高い計算効率（最小の実行時間、エネルギー使用量、CO2排出）を示し、LLMは特にLlama3.2-visionでコストが高くなる。
• 表2はGPT-4oのフィルタリング効果による大幅な向上を示す（精度: 62% なし vs 82.01% フィルタリング; 時間: 6.23秒 vs 2.35秒; エネルギー: 1.84W-h vs 1.65W-h）。