[論文レビュー] Extracting Biomedical Factual Knowledge Using Pretrained Language Model and Electronic Health Record Context

Zonghai Yao, Y. Cao+3 more|PubMed|Aug 26, 2022

Topic Modeling被引用数 9

ひとこと要約

本論文は、電子的健康記録（EHR）ノートを文脈的サポートとして統合することにより、大規模言語モデル（LLM）からの生体医療知識抽出を向上させる動的文脈認識プロンプトフレームワークを提案する。少数の例を用いたプロンプトにEHR文脈を統合することで、生体医療分野における事実的知識の想起を顕著に向上させ、LLMがノイズの多いEHR由来の知識から正しい事実を区別できることを示している。これは、モデルの知識容量を評価するための新しい指標としても機能する。

ABSTRACT

Language Models (LMs) have performed well on biomedical natural language processing applications. In this study, we conducted some experiments to use prompt methods to extract knowledge from LMs as new knowledge Bases (LMs as KBs). However, prompting can only be used as a low bound for knowledge extraction, and perform particularly poorly on biomedical domain KBs. In order to make LMs as KBs more in line with the actual application scenarios of the biomedical domain, we specifically add EHR notes as context to the prompt to improve the low bound in the biomedical domain. We design and validate a series of experiments for our Dynamic-Context-BioLAMA task. Our experiments show that the knowledge possessed by those language models can distinguish the correct knowledge from the noise knowledge in the EHR notes, and such distinguishing ability can also be used as a new metric to evaluate the amount of knowledge possessed by the model.

研究の動機と目的

• 標準的なプロンプト手法が生体医療LLMからの事実的知識抽出において低い性能を示す問題に対処すること。
• 現実世界のEHR文脈を活用することで、臨床NLP応用における知識抽出の信頼性と正確性を向上させること。
• EHRノートに基づいてプロンプトをカスタマイズする動的文脈インジェクション機構を開発し、より良い事実の根拠付けを実現すること。
• EHR文脈における正しい事実とノイズの多い知識の区別能力を用いて、LLMの知識容量を評価する指標を提供すること。

提案手法

• 著者らは、関連するEHRノートを少数の例を用いたプロンプトテンプレートに文脈として統合する、動的文脈バイアス付きプロンプトフレームワークを設計した。
• 彼らは、エンティティ予測とEHR文脈を統合した新しいタスク「Dynamic-Context-BioLAMA」を用いて、LLMのファインチューニングと評価を実施した。
• この手法は、EHR由来の文脈に条件づけられたまま、事実的知識を抽出するためのマスキング言語モデルの目的関数を用いることで、幻覚を低減する。
• 文脈選択モジュールは、各プロンプトに対して最も関連性の高いEHRスニペットを取得し、事実の一貫性を向上させる。
• このアプローチは、正確性だけでなく、誤った知識を拒否する能力についても評価しており、知識品質の代理指標として機能する。
• フレームワークは、アブレーションスタディおよび標準的なプロンプトとベースラインLLMとの比較を通じて、生体医療知識ベンチマークで検証された。

実験結果

リサーチクエスチョン

• RQ1 EHR文脈は、生体医療応用におけるLLMの事実的知識抽出性能を向上させることができるか？
• RQ2 動的文脈インジェクションは、EHRノート内の誤った知識やノイズの多い知識と正しい事実を区別するモデルの能力にどのように影響するか？
• RQ3 正しい事実と誤った事実の区別能力が、モデルの内部知識容量を評価するための信頼できる指標としてどの程度有効であるか？
• RQ4 EHR文脈を統合することで、LLMが生成する事実的知識における幻覚が減少するか？
• RQ5 標準的なプロンプトおよびベースラインLLMと比較して、提案手法は事実の想起率および正確性の観点でどの程度優れているか？

主な発見

• 提案手法は、特にリソースが限られたりノイズが多いEHR文脈において、標準的なプロンプト手法よりも顕著に優れた事実的知識抽出性能を示した。
• EHR文脈の統合により、誤った知識を拒否する能力が向上し、事実の一貫性と信頼性が向上していることが示された。
• 正しい事実とノイズの多い事実の区別能力は、LLMの内部知識容量を評価する強力な代理指標として浮き彫りになった。
• 動的文脈インジェクション機構により、希少または複雑な生体医療エンティティに関して、事実の想起率が明確に向上した。
• アブレーションスタディの結果、EHR文脈がパフォーマンス向上に不可欠であることが確認され、文脈が除去されたり適切に選択されない場合にはパフォーマンスが著しく低下した。
• 本手法は、多様なEHRノートタイプや臨床シナリオにおいても頑健であることが示され、実世界の臨床NLPパイプラインへの適用可能性が裏付けられた。