[論文レビュー] Coupling Symbolic Reasoning with Language Modeling for Efficient Longitudinal Understanding of Unstructured Electronic Medical Records

Shivani Shekhar, Simran Tiwari+3 more|arXiv (Cornell University)|Aug 7, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、大規模言語モデル（LLMs）と記号的推論を統合するハイブリッドフレームワークを提案し、非構造化電子医療記録（EMRs）の縦断的理解を向上させる。LLMsの自然言語理解と、構造的推論に用いる記号論理を組み合わせることで、医療変数の抽出が向上し、商用LLMsと同等の性能を達成する。特に、オープンソースモデルを用いても同様の結果が得られ、記号的ステアリングがLLMの信頼性を顕著に向上させることを示している。

ABSTRACT

The application of Artificial Intelligence (AI) in healthcare has been revolutionary, especially with the recent advancements in transformer-based Large Language Models (LLMs). However, the task of understanding unstructured electronic medical records remains a challenge given the nature of the records (e.g., disorganization, inconsistency, and redundancy) and the inability of LLMs to derive reasoning paradigms that allow for comprehensive understanding of medical variables. In this work, we examine the power of coupling symbolic reasoning with language modeling toward improved understanding of unstructured clinical texts. We show that such a combination improves the extraction of several medical variables from unstructured records. In addition, we show that the state-of-the-art commercially-free LLMs enjoy retrieval capabilities comparable to those provided by their commercial counterparts. Finally, we elaborate on the need for LLM steering through the application of symbolic reasoning as the exclusive use of LLMs results in the lowest performance.

研究の動機と目的

• 整理されておらず、一貫性に欠け、重複する非構造化EMRsから意味のある医療変数を抽出するという課題に対処すること。
• 記号的推論が、臨床テキスト理解におけるLLMsの推論能力を向上させることを調査すること。
• 最新のオープンソースLLMsがEMR抽出タスクにおいて、商用モデルと比較してどの程度の性能を示すかを評価すること。
• 記号的推論ステアリングが、臨床推論におけるLLMの信頼性を向上させ、幻覚を低減することを実証すること。

提案手法

• 事前に学習されたLLMと記号的推論エンジンを組み合わせて、縦断的臨床ノートを処理するフレームワークを構築する。
• 時間的関係、診断基準、治療プロトコルなどの臨床論理を記号的ルールとして設計する。
• LLMが非構造化テキストから候補となるエンティティおよび関係を抽出し、それを記号的推論を用いて検証・精錬する。
• リtrieval-Augmented Generationパイプラインを用いることで文脈認識を強化し、長期にわたる患者履歴の処理を改善する。
• ルールベースのフィルタリングと整合性チェックを用いて、LLMが出力する内容を是正し、事実の正確性を向上させる。
• 標準的な医療変数抽出ベンチマークを用いて、実世界のEMRデータセット上でアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 LLMsと組み合わせた記号的推論は、非構造化EMRsからの医療変数抽出の正確性と一貫性を向上させることができるか？
• RQ2 記号的推論で強化された状態で、オープンソースLLMsと商用LLMsの間で、縦断的臨床テキスト理解における性能に差は生じるか？
• RQ3 記号的ステアリングは、LLMベースの臨床システムにおける幻覚をどの程度低減させ、推論の信頼性を向上させるか？
• RQ4 記号的LLMハイブリッドシステムは、EMR理解タスクにおいて商用モデルと同等の性能を達成できるか？

主な発見

• 記号的LLMハイブリッドシステムは、単独で使用されたLLMsと比較して、重要な医療変数の抽出精度を顕著に向上させた。
• 記号的推論によってガイドされたオープンソースLLMsは、商用LLMsと同等のリtrievalおよび推論性能を達成した。
• 記号的推論は、特に縦断的文脈において、臨床推論における幻覚を低減し、一貫性を向上させた。
• LLMsに記号的ルールを組み合わせることで、より信頼性が高く解釈可能な臨床意思決定支援出力が得られた。