[論文レビュー] Aligning Large Language Models for Clinical Tasks

Supun Manathunga, Isuru Hettigoda|arXiv (Cornell University)|Sep 6, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本論文では、リtrieval増強生成とコンテキスト内プロンプティング技術を用いて、臨床的質問への対応のための大規模言語モデル（LLMs）の整合性を図るための「拡張・推測・精錬」プロンプティング戦略を提案する。USMLEデータセットにおいて70.63%の正確性を達成し、統計的に有意な差（p = 0.031）を示してChatGPT（59.44%）を大きく上回った。

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable adaptability, showcasing their capacity to excel in tasks for which they were not explicitly trained. However, despite their impressive natural language processing (NLP) capabilities, effective alignment of LLMs remains a crucial challenge when deploying them for specific clinical applications. The ability to generate responses with factually accurate content and to engage in non-trivial reasoning steps are crucial for the LLMs to be eligible for applications in clinical medicine. Employing a combination of techniques including instruction-tuning and in-prompt strategies like few-shot and chain-of-thought prompting has significantly enhanced the performance of LLMs. Our proposed alignment strategy for medical question-answering, known as 'expand-guess-refine', offers a parameter and data-efficient solution. A preliminary analysis of this method demonstrated outstanding performance, achieving a score of 70.63% on a subset of questions sourced from the USMLE dataset.

研究の動機と目的

• 大規模言語モデル（LLMs）を臨床的意思決定に信頼性を持って適用するための課題に対処すること、特に医学的質問への対応において。
• 豊富なファインチューニングを必要とせずに、医学的文脈におけるLLMsの事実的正確性と推論能力を向上させること。
• パラメータおよびデータ効率的な整合性戦略を開発し、性能向上を図るとともに、説明可能性と検証可能性を保証すること。
• リtrieval増強プロンプティングが、高リスクの医学的推論タスクにおいて、標準のゼロショットまたはファインチューニング済みLLMsを上回るかを評価すること。
• 非パrametricな知識取得と構造化プロンプティングを組み合わせることで、臨床応用におけるLLMの信頼性が著しく向上することを示すこと。

提案手法

• 拡張・推測・精錬戦略は3段階から成る：まず、ベクトルデータベースから取得したバイオメディカル知識を入力コンテキストに拡張する。
• 「推測」段階では、選択肢を確認する前に、拡張されたコンテキストに基づいてモデルが質問に対する回答を生成する。
• 「精錬」段階では、生成された推測と取得した証拠を組み合わせて、段階的な推論を用いて提供された選択肢の中から最良の回答を選択する。
• 推論を促進するために、Few-shotおよびチェーン・オブ・トゥーク（CoT）プロンプティングを用い、論理的整合性と正確性を向上させる。
• リtrievalは、教科書の章を含むベクトルデータベースを用い、上位-kのドキュメントを取得することで実施される。
• ファインチューニングを回避するため、コンテキスト内プロンプティングとリtrieval増強に依存することで、計算効率が良く、応用に適したアプローチとなる。

Figure 1: Expansion of the context.

実験結果

リサーチクエスチョン

• RQ1 リtrieval増強プロンプティングは、医学的質問への対応タスクにおけるLLMsの事実的正確性と推論性能を向上させることができるか？
• RQ2 拡張・推測・精錬プロンプティング戦略は、ゼロショットおよびファインチューニングベースラインを上回るか？
• RQ3 チェーン・オブ・トゥークやFew-shot学習といったコンテキスト内プロンプティング技術は、ファインチューニングなしでLLMsの推論能力をどの程度向上させられるか？
• RQ4 パラメータ効率的でリtrievalベースの整合性戦略は、臨床的LLM応用において説明可能かつ検証可能な出力を生成できるか？
• RQ5 非パラメトリックな知識取得の統合は、パラメトリック知識に依存する場合と比較して、USMLEデータセットにおけるLLM性能にどのような影響を与えるか？

主な発見

• 拡張・推測・精錬戦略は、USMLE開発セットの最初の100問において70.63%のテスト正確性を達成し、ChatGPTの59.44%を統計的に有意に上回った（p = 0.031）。
• ベースラインモデルとの比較において、性能向上が統計的に有意であったため、臨床的推論タスクにおける堅牢性と信頼性が裏付けられた。
• リtrieval増強プロンプティングにより、モデルが外部医学的知識にアクセスし、それを活用する能力が向上し、事実の根拠づけが強化された。
• フレームワーク内でのチェーン・オブ・トゥークおよびFew-shotプロンプティングの活用により、推論の整合性が向上し、事実の捏造（ホールーシュネーション）が減少した。
• ファインチューニングを一切行わずして高い性能を達成したため、臨床現場への展開においてスケーラブルで効率的なアプローチとなった。
• モデルの出力は説明性が高く、取得した文書と内部論理に基づいて、推論ステップと証拠の出典を追跡可能であった。

Figure 2: The Guess strategy.