[論文レビュー] Few shot chain-of-thought driven reasoning to prompt LLMs for open ended medical question answering

Saeel Sandeep Nachane, Ojas Gramopadhye+6 more|arXiv (Cornell University)|Mar 7, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、LLMを用いたオープンエンドド医療QAに特化した、新規の少サンプルチェーン・オブ・スティッズ（CoT）プロンプティング手法—段階的推論—を提案する。臨床現場の実際の推論プロセスを模倣し、人間による検証済み報酬モデルを統合して応答を検証することで、標準的なCoTプロンプティングを著しく上回り、Llama2-7Bを用いた100問の評価で推論の質と正確性の両面で86％の専門家合意を達成した。

ABSTRACT

In this paper, we propose a modified version of the MedQA-USMLE dataset, named MEDQA-OPEN, which contains open-ended medical questions without options to mimic clinical scenarios, along with clinician-approved reasoned answers. Additionally, we implement a prompt driven by Chain of Thought (CoT) reasoning, CLINICR, to mirror the prospective process of incremental reasoning, reaching a correct response to medical questions. We empirically demonstrate how CLINICR outperforms the state-of-the-art 5-shot CoT-based prompt (Liévin et al., 2022). We also present an approach that mirrors real-life clinical practice by first exploring multiple differential diagnoses through MCQ-CLINICR and subsequently narrowing down to a final diagnosis using MCQ-ELIMINATIVE. Finally, emphasizing the importance of response verification in medical settings, we utilize a reward model mechanism, replacing the elimination process performed by MCQ-ELIMINATIVE.

研究の動機と目的

• 既存の医療QAデータセットは主に選択肢付きの複数選択形式であるため、そのギャップを埋めるために、選択肢なしのオープンエンドド推論を可能にするように変更されたMedQA-USMLEデータセットの作成。
• 一括でのCoTではなく、段階的で順次的（フォワード・ルックイング）な推論を経て、臨床現場の意思決定プロセスを模倣するプロンプティング戦略の開発。
• 医療専門家が評価した推論-回答ペアを用いて報酬モデルを学習させ、高品質と低品質の応答を区別する仕組みを構築することで、医療LLMにおける応答の検証可能性を向上。
• 段階的推論プロンプトと検証者ベースの選択戦略が、Codex CoT やプロンプトチェイニングなどのベースライン手法と比較して、有効性を評価すること。

提案手法

• 選択肢を削除することで元のMedQA-USMLEデータセットを変更し、オープンエンドド応答生成を可能にする新しいデータセット「MedQA-No-Opt」を構築。
• 臨床的推論を段階的かつ前向きに進めるように誘導する段階的推論プロンプトを設計。これは、実際の診断プロセスを模倣する。
• Llama2-7b-chatモデルに段階的推論テンプレートをプロンプトとして与え、推論トレースを生成。その後、医療専門家による検証を実施。
• ペairワイズの好み学習を用いて報酬モデルを構築：同じ質問に対する正例（正解）と負例（誤り）の応答-推論ペアを用い、報酬マージンを0.4に設定。
• 損失関数を用いてLoRAを用いた微調整により、報酬モデルをLlama2-7b-chatモデルで学習：$\mathcal{L}^{rw} = -\log(\sigma(r_{\boldsymbol{\phi}}(q_i, o^{c}_i) - r_{\boldsymbol{\phi}}(q_i, o^{r}_i) - m(r)))$。
• 訓練済みの報酬モデルを用いて、MedCodexの少サンプルプロンプティングにより生成された4つの応答からスコアが最も高いものを選択し、検証者駆動の応答選択を実現。

Figure 1: Forward and Eliminative prompting strategies overview

実験結果

リサーチクエスチョン

• RQ1 段階的推論プロンプティングは、標準的な少サンプルCoTプロンプティングと比較して、オープンエンドド医療QAにおけるLLMの応答品質と正確性を向上させることができるか？
• RQ2 人間による検証済みの推論-回答ペアを用いて学習された報酬モデルは、医療LLMにおける高品質な応答の選択をどの程度向上させるか？
• RQ3 検証者ベースの応答選択戦略は、プロンプトチェイニングや除外的推論といった従来のプロンプティング手法を上回るか？
• RQ4 段階的推論法の性能は、特にLlama2-7Bのような小規模モデルに適用した場合、異なるLLMのパラメータスケールに応じてどのように変化するか？
• RQ5 推論の質に基づいて学習された報酬モデルは、医療データで微調整されていないLLMに対しても、正確な答えの選択を効果的に導くことができるか？

主な発見

• 段階的推論プロンプトは、Llama2-7Bモデルを用いたMedQA-No-Optデータセットにおける100問の評価で、推論の質と最終的な正答率の両面で86％の専門家合意を達成した。
• 検証者駆動の応答選択戦略は、プロンプトチェイニングや除外的推論といったベースライン手法を著しく上回り、正確で説明可能な応答の選択に優れた性能を示した。
• 段階的推論法は、特に複数ステップにわたる診断的推論を要する状況において、変更済みの5ショット-Codex-CoTプロンプトを上回った。
• グリーディデコードを用いた段階的推論法は、他のデコード戦略よりも優れた結果を示し、一貫性のある推論を生成するという点で、その頑健さと信頼性を示した。
• 人間による検証済みの推論ペアを用いて学習された報酬モデルは、正解の応答と誤りの応答を明確に区別する強力な能力を示した。医療専門家は、答えが正しくても推論の欠陥を確実に特定できた。
• 高度なプロンプティングと検証により、モデルサイズの制限を補う可能性を示しており、より大きなモデルを上回る性能を達成できる可能性がある。

Figure 2: Codex COT looks at generating options in a more eliminative approach, often not catering to the context of clinical investigation, unlike differential diagnostics as per MedCodex