[論文レビュー] Natural Language Programming in Medicine: Administering Evidence Based Clinical Workflows with Autonomous Agents Powered by Generative Large Language Models

Akhil Vaid, Joshua Lampert+28 more|arXiv (Cornell University)|Jan 5, 2024

Artificial Intelligence in Healthcare and Education被引用数 7

ひとこと要約

本論文は、生成型LLMによって動作する自律エージェントを評価し、根拠に基づく臨床ワークフローを模擬的な三次医療設定で実施する。専有モデルとオープンソースモデルをRAGとともに比較し、人間の監視とNLPベースの行動修正の必要性を強調する。

ABSTRACT

Generative Large Language Models (LLMs) hold significant promise in healthcare, demonstrating capabilities such as passing medical licensing exams and providing clinical knowledge. However, their current use as information retrieval tools is limited by challenges like data staleness, resource demands, and occasional generation of incorrect information. This study assessed the potential of LLMs to function as autonomous agents in a simulated tertiary care medical center, using real-world clinical cases across multiple specialties. Both proprietary and open-source LLMs were evaluated, with Retrieval Augmented Generation (RAG) enhancing contextual relevance. Proprietary models, particularly GPT-4, generally outperformed open-source models, showing improved guideline adherence and more accurate responses with RAG. The manual evaluation by expert clinicians was crucial in validating models' outputs, underscoring the importance of human oversight in LLM operation. Further, the study emphasizes Natural Language Programming (NLP) as the appropriate paradigm for modifying model behavior, allowing for precise adjustments through tailored prompts and real-world interactions. This approach highlights the potential of LLMs to significantly enhance and supplement clinical decision-making, while also emphasizing the value of continuous expert involvement and the flexibility of NLP to ensure their reliability and effectiveness in healthcare settings.

研究の動機と目的

• 医療分野における根拠に基づく臨床ワークフローを実行する自律LLMエージェントの使用を動機づけ、評価する。
• 三次医療のシミュレーション内で、ガイドライン遵守と応答精度の観点から、専有LLMとオープンソースLLMを比較する。
• 文脈的関連性と意思決定の質に対するRetrieval Augmented Generation (RAG)の影響を評価する。
• 臨床コンテキストにおけるモデル挙動を安全に調整する実践的なパラダイムとして、Natural Language Programmingを実証する。

提案手法

• 複数の専門分野にまたがる実世界の臨床ケースを用いて、三次医療センターをシミュレートする。
• 自律的な臨床タスク実行のために、専有とオープンソースのLLMの両方を評価する。
• 出力の文脈的関連性を高めるために、Retrieval Augmented Generation (RAG)を組み込む。
• モデル出力を検証するために、専門の臨床医による手動評価を適用する。
• プロンプトと実世界の相互作用を通じてモデル挙動を変更するパラダイムとして、Natural Language Programming (NLP)を提唱する。

実験結果

リサーチクエスチョン

• RQ1 模擬病院環境において、複数の専門領域にまたがる臨床ガイドラインを自律LLMエージェントが一貫して遵守できるか？
• RQ2 RAGを使用した場合、専有モデル（例：GPT-4）はガイドライン遵守と正確性の点でオープンソースモデルを上回るか？
• RQ3 Retrieval Augmented Generationは、LLM主導の臨床ワークフローの文脈的関連性と正確性を向上させるか？
• RQ4 自律的医療エージェントを検証・監督する上での人間専門家の監視の役割は何か？
• RQ5 Natural Language Programmingは、信頼性と安全性のために自律的臨床エージェントを調整する実用的で効果的な方法か？

主な発見

• 専有モデル、特にGPT-4は、RAGを使用する場合、オープンソースモデルよりもガイドライン遵守と正確性で一般に優れる。
• RAGは、医療自律設定における応答の文脈的関連性を高める。
• モデル出力を検証し安全な運用を保証するためには、専門家による手動評価が極めて重要である。
• NLプログラミングは、特化したプロンプトと対話を通じてモデル挙動を正確に調整することを可能にする。
• このアプローチは、臨床意思決定を補強するLLMの可能性を示す一方で、継続的な専門家の関与を必要とする。