[論文レビュー] Pattern Recognition or Medical Knowledge? The Problem with Multiple-Choice Questions in Medicine

Maxime Griot, Jean Vanderdonckt+2 more|arXiv (Cornell University)|Jun 4, 2024

Expert finding and Q&A systems被引用数 4

ひとこと要約

本研究では、架空の医学的腺体「Glianorex」に基づく複数選択式問題（MCQ）を用いて、大規模言語モデル（LLM）の性能を評価し、真の臨床的知識とは別にパターン認識がどの程度影響を及えるかを検証した。事前にその内容に触れていなくても、LLMは全モデルで約67％の正答率を達成した。これはMCQが深層的理解を測るのではなく、主に統計的パターンマッチングをテストしていることを示しており、AIが医学的推論を真に理解しているかどうかを評価する現在のベンチマークの妥当性に疑問を呈する。

ABSTRACT

Large Language Models (LLMs) such as ChatGPT demonstrate significant potential in the medical domain and are often evaluated using multiple-choice questions (MCQs) modeled on exams like the USMLE. However, such benchmarks may overestimate true clinical understanding by rewarding pattern recognition and test-taking heuristics. To investigate this, we created a fictional medical benchmark centered on an imaginary organ, the Glianorex, allowing us to separate memorized knowledge from reasoning ability. We generated textbooks and MCQs in English and French using leading LLMs, then evaluated proprietary, open-source, and domain-specific models in a zero-shot setting. Despite the fictional content, models achieved an average score of 64%, while physicians scored only 27%. Fine-tuned medical models outperformed base models in English but not in French. Ablation and interpretability analyses revealed that models frequently relied on shallow cues, test-taking strategies, and hallucinated reasoning to identify the correct choice. These results suggest that standard MCQ-based evaluations may not effectively measure clinical reasoning and highlight the need for more robust, clinically meaningful assessment methods for LLMs.

研究の動機と目的

• 複数選択式問題（MCQ）のベンチマークが、大規模言語モデル（LLM）における臨床的知識と推論を本当に評価しているのか、それとも単にパターン認識をテストしているのかを調査すること。
• 実世界での露出なしに、オープンソース、プロプライエタリ、ファインチューニング済みの多様なLLMが、架空の医学的ドメインでどの程度の性能を示すかを評価すること。
• モデルのサイズ、アーキテクチャ、またはドメイン特化型ファインチューニングが、存在しない医学的知識を評価するMCQで性能を向上させるかどうかを特定すること。
• 現在のMCQベースのベンチマークが、LLMの真の臨床的理解を評価する上で妥当かどうかを検証すること。
• LLMの臨床的推論と知識をより的確に評価するため、MCQを超えたより強固な評価手法の導入を提言すること。

提案手法

• GPT-4を用いて英語およびフランス語で作成した、架空の医学的腺体「Glianorex」に関する包括的な教科書を生成した。
• 架空の教科書に基づき、英語およびフランス語で264問の複数選択式問題を生成し、実際の医学的コンテンツを含めないよう配慮した。
• ファインチューニングなしのゼロショット設定で、オープンソース、プロプライエタリ、医療特化型ファインチューニング済みの多様なLLMを評価した。
• 質問作成プロセスにおける合成バイアスを低減するために、高温採番と1段落あたり複数回の質問生成を実施した。
• 言語依存性のパターン認識効果を評価するために、英語およびフランス語の両方で性能を測定した。
• モデル間および言語間の性能差の有意性を評価する統計的分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 LLMは、完全に架空の医学的知識に基づくMCQでどの程度高いスコアを達成するか。これは、真の理解ではなくパターン認識によるものであると示唆する。
• RQ2 より大きなモデルやファインチューニング済みモデルは、より小さいモデルやベースモデルに比べて、架空のMCQで顕著に高い性能を示すのか。
• RQ3 同じMCQの英語版とフランス語版の間に測定可能な性能差が生じるのか。これは言語固有の統計的パターンの利用が影響している可能性を示唆する。
• RQ4 MCQベースのベンチマークは、LLMにおける表面的な試験戦略と深層的な臨床的推論の違いを適切に区別できるのか。
• RQ5 LLMが架空のMCQで高い性能を示すことは、現在のベンチマークが真の医学的知識を評価する上で妥当であるという主張を損なうのか。

主な発見

• LLMは、事前にその内容に触れていなくても、架空の医学的腺体「Glianorex」に基づく複数選択式問題で平均して約67％の正答率を達成した。
• モデルのサイズ、アーキテクチャ、専門性の違いに関わらず、性能にほぼ同等の差が見られた。これは、深層的知識ではなくパターン認識に依存していることを示唆する。
• 英語での性能がフランス語よりもわずかに優れていた。これは、言語固有の統計的パターンが結果に影響を与えている可能性を示唆する。
• ファインチューニング済みの医療モデルは、英語ではベースモデルに比べてわずかな改善を示したが、フランス語では同様の向上が認められず、言語とパターンマッチングの役割が顕著に現れた。
• 多様なモデルで一貫して高い性能が得られたことから、MCQは主に試験戦略と統計的パターンマッチングを評価しており、臨床的理解を測るものではないと結論づけた。
• 本研究は、現在のMCQベースのベンチマークが、LLMの真の臨床的知識や推論能力を評価する有効な指標とは言えない可能性があると結論づけ、より強固な評価手法の導入が求められるとした。