[論文レビュー] Can large language models reason about medical questions?

Valentin Liévin, Christoffer Hother+2 more|arXiv (Cornell University)|Jul 17, 2022

Topic Modeling被引用数 85

ひとこと要約

本論文は、ゼロショット/Few-shot と Chain-of-Thought prompting を用い、リトリーバル拡張の有無で、GPT-3.5 系列およびオープンソース LLMs を医療 QA ベンチマークで評価し、特定の prompting/計算設定の下で USMLE、MedMCQA、PubMedQA においてほぼ合格相当の性能を示す。

ABSTRACT

Although large language models (LLMs) often produce impressive outputs, it remains unclear how they perform in real-world scenarios requiring strong reasoning skills and expert domain knowledge. We set out to investigate whether close- and open-source models (GPT-3.5, LLama-2, etc.) can be applied to answer and reason about difficult real-world-based questions. We focus on three popular medical benchmarks (MedQA-USMLE, MedMCQA, and PubMedQA) and multiple prompting scenarios: Chain-of-Thought (CoT, think step-by-step), few-shot and retrieval augmentation. Based on an expert annotation of the generated CoTs, we found that InstructGPT can often read, reason and recall expert knowledge. Last, by leveraging advances in prompt engineering (few-shot and ensemble methods), we demonstrated that GPT-3.5 not only yields calibrated predictive distributions, but also reaches the passing score on three datasets: MedQA-USMLE 60.2%, MedMCQA 62.7% and PubMedQA 78.2%. Open-source models are closing the gap: Llama-2 70B also passed the MedQA-USMLE with 62.5% accuracy.

研究の動機と目的

• GPT-3.5 系列モデル（InstructGPT、Codex）が医療 QA ベンチマーク（USMLE、MedMCQA、PubMedQA）でどのように性能を発揮するかを評価する。
• ゼロショット、ファ few-shot、直接 prompting、Chain-of-Thought prompting、さらにはリトリーバル拡張を用いた医療推論を評価する。
• 同じベンチマーク上でオープンソースモデル（Llama-2、Vicuna、Guanaco、Falcon など）を評価し、キャリブレーションとバイアスを分析する。

提案手法

• 医療 QA データセットに対してゼロショット、直接、ゼロショット CoT prompting を比較する。
• CoT の説明付き・なしのファ few-shot prompts を組み込む。
• BM25 リトリーバーと Wikipedia のパッセージを用いたリトリーバー獲得 prompting を実験する。
• 不確実性とキャリブレーションを評価するために、アンサンブルサンプリング（セルフコンシステンシー）と推論時の計算量を分析する（Codex 5-shot CoT かつ k=100）。
• 生成された CoT の専門家による注釈を実施し、推論、知識の想起、読解を評価する。
• MedQA-USMLE および MedMCQA データセットに対して Codex と対照して、7B–70B のオープンソースモデルをベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 InstructGPT および Codex はゼロショットおよびファ few-shot prompting で MedQA-USMLE、MedMCQA、PubMedQA の合格精度を達成できるか？
• RQ2 チェーン・オブ・思考 prompting は、直接 prompting と比較して医療質問回答の精度と解釈可能性を向上させるか？
• RQ3 リトリーバル拡張とアンサンブルサンプリングは精度とキャリブレーションを改善できるか？
• RQ4 オープンソース LLM はこれらの医療ベンチマークで商用モデルと比較してどうか？
• RQ5 医療推論プロンプトと CoT 出力において、どのようなバイアスや失敗モードが現れるか？

主な発見

• prompting を用いた GPT-3.5 系は、特定の prompting と計算条件の下で三つの医療データセットで合格点に到達できる。
• Codex 5-shot CoT とアンサンブルサンプリング（k=100）で USMLE（60.2%）、MedMCQA（62.7%）、PubMedQA（78.2%）を突破。
• オープンソースモデル（例：Llama-2 70B）は、USMLE のパフォーマンスで一部の閉鎖モデルに近づくまたは凌駕する可能性がある（例：5-shot CoT で 62.5%）、全体のギャップを狭める。
• ゼロショットの直接 prompting は、これらの医療ベンチマークでファインチューニング済み BERT ベースラインを上回る傾向があり、ゼロショット CoT prompting は解釈可能な推論を提供するが、直接 prompting より必ずしも高精度とはならない。
• リトリーバル拡張は定量的な利得を生む；アンサンブル/自己一貫性サンプリングは信頼性とキャリブレーションを改善する。
• 人間専門家の評価は InstructGPT が多くの CoT で読み、推論し、専門知識を想起できることを示唆する一方、誤りとバイアスは依然残る。