[論文レビュー] Almanac: Retrieval-Augmented Language Models for Clinical Medicine

Cyril Zakka, Akash Chaurasia+12 more|arXiv (Cornell University)|Mar 1, 2023

Topic Modeling被引用数 25

ひとこと要約

Almanac は大規模言語モデルに医療ソースからの検索機能を組み込み、臨床質問に回答する際の事実性と安全性をベースラインより向上させ、出典付きの回答を可能にする。

ABSTRACT

Large-language models have recently demonstrated impressive zero-shot capabilities in a variety of natural language tasks such as summarization, dialogue generation, and question-answering. Despite many promising applications in clinical medicine, adoption of these models in real-world settings has been largely limited by their tendency to generate incorrect and sometimes even toxic statements. In this study, we develop Almanac, a large language model framework augmented with retrieval capabilities for medical guideline and treatment recommendations. Performance on a novel dataset of clinical scenarios (n = 130) evaluated by a panel of 5 board-certified and resident physicians demonstrates significant increases in factuality (mean of 18% at p-value < 0.05) across all specialties, with improvements in completeness and safety. Our results demonstrate the potential for large language models to be effective tools in the clinical decision-making process, while also emphasizing the importance of careful testing and deployment to mitigate their shortcomings.

研究の動機と目的

• 臨床ワークフロー内での医療用LLMにおける事実性、網羅性、安全性の課題に対処する。
• 取得した出典と本文中引用で回答を根拠づけるAlmanac の能力を評価する。
• 医師主導の評価ルーブリックを用いて複数の専門分野での性能を評価する。

提案手法

• ベクトルデータベースを用いて医療コンテンツを意味的に格納し、text-embedding-ada-002 由来の1,536次元埋め込みを用いた近似最近傍検索（HNSW）を実行する。
• 記事を1,000トークン区間に取得・分割し、クエリと文書を照合してスコアを付け、上位の一致をファインチューニング済みのLLM（text-davinci-003）へ引用付きの回答生成として入力する。
• コンテキスト付きプロンプトとチェーン・オブ・ソート推論を組み合わせた検索強化生成パイプラインを用い、情報不足時には回答を控える。
• ClinicalQA データセット（n=130）と敵対的プロンプトを用いて、事実性、網羅性、安全性を認定医師パネルで評価する。
• 現実の臨床質問を反映するCardiothoracic Surgery、Cardiology、Neurology、Infectious Diseases、Pediatricsにまたがる新しい ClinicalQA ベンチマークを提供する。

実験結果

リサーチクエスチョン

• RQ1 Almanac は非検索ベースラインと比べて臨床回答の事実性を向上させるか？
• RQ2 Almanac はオープンエンドの臨床問い合わせにおいてより高い安全性と網羅性を達成するか？
• RQ3 検索根拠付きLLMは複数の医療専門分野で信頼できる出典付きの指針を提供できるか？

主な発見

• Almanac は specialties 全体で ChatGPT より平均事実性を18ポイント改善（p < 0.05）した。
• 最大の事実性差は Cardiology で（Almanac 91% vs ChatGPT 69%）。
• Almanac は内蔵計算機を使用して臨床計算を正しく処理し、すべての計算のビネットに回答; ChatGPT はすべての5件で誤り（計算機なし）。
• 敵対的プロンプトに対して、Almanac は安全性の高い性能を示す（95% 対 0% の ChatGPT）。閾値が満たされない場合は回答を控えることがある。
• 医師は依然として ChatGPT の出力を57% の頻度で好んだ。出典に基づく安全性の利点にもかかわらず、ユーザー体験の考慮を浮き彫りにしている。