[論文レビュー] MedDM:LLM-executable clinical guidance tree for clinical decision-making

Binbin Li, Tianxin Meng+3 more|arXiv (Cornell University)|Dec 5, 2023

Biomedical Text Mining and Ontologies被引用数 7

ひとこと要約

本稿では、臨床実践ガイドラインから抽出した大規模な医療診断意思決定データセットであるMedDMを紹介するとともに、大規模言語モデル（LLMs）の専門的でマルチターンの臨床意思決定を向上させるために、LLM実行可能な臨床ガイドラインツリー（CGT）を提案する。5,000件の医学文献リソースに含まれるフローチャートを、自然言語ベースの構造的決定木に変換することで、LLMが反復的な患者対話による鑑別診断を実行可能とし、標準的な医療Q&Aモデルに比べて診断精度と臨床的推論能力が顕著に向上した。

ABSTRACT

It is becoming increasingly emphasis on the importance of LLM participating in clinical diagnosis decision-making. However, the low specialization refers to that current medical LLMs can not provide specific medical advice, which are more like a medical Q\&A. And there is no suitable clinical guidance tree data set that can be used directly with LLM. To address this issue, we first propose LLM-executavle clinical guidance tree(CGT), which can be directly used by large language models, and construct medical diagnostic decision-making dataset (MedDM), from flowcharts in clinical practice guidelines. We propose an approach to screen flowcharts from medical literature, followed by their identification and conversion into standardized diagnostic decision trees. Constructed a knowledge base with 1202 decision trees, which came from 5000 medical literature and covered 12 hospital departments, including internal medicine, surgery, psychiatry, and over 500 diseases.Moreover, we propose a method for reasoning on LLM-executable CGT and a Patient-LLM multi-turn dialogue framework.

研究の動機と目的

• 現在の医療LLMの専門性の低さに起因する、診断を単純なQ&Aとして扱うのではなく、マルチラウンドで誘導された照会として扱う必要性の解消。
• 実際の臨床実践ガイドラインから抽出した、公開可能で高品質な医療診断意思決定データセット（MedDM）の構築。
• 自然言語で表現された差別診断論理を直接LLMが推論できるようにする、画期的なLLM実行可能な臨床ガイドラインツリー（CGT）表現の設計。
• LLMが反復的な症状収集とガイドライン準拠の意思決定経路に従って、医師と同様の推論を再現できる、意思決定検索ベースの対話フレームワークの開発。
• マルチターンの患者-LLM対話において、正確で臨床的に信頼性のある回答を生成するためのフレームワークの有効性の評価。

提案手法

• レイアウト解析と画像前処理を用いて、5,000件の医学文献リソースから1,202の臨床フローチャートを抽出し、関連するフローチャートを含むページを特定。
• ノード検出にFaster R-CNN（98%の正確度）を用い、輪郭検出とDBSCANクラスタリングを組み合わせて接続線および意思決定経路を同定するフローチャート認識モデルを開発。
• フローチャート内のテキスト認識にCnOCRを適用し、7名の医療専門家によるチームによる手動での検証とノード・接続関係の是正を実施。
• 各ノードを自然言語で表現し、意思決定論理を構造的かつ機械可読なテキストとしてエンコードすることで、認識されたフローチャートをLLM実行可能な臨床ガイドラインツリー（CGT）に変換。
• CGT表現を格納するベクトルデータベースを実装し、再定式化された患者対話埋め込みとCGTベクトル間のコサイン類似度を用いて関連する意思決定経路を検索。
• LLMが収集したCGT経路を外部知識として活用し、フォローアップ質問や診断、治療計画を含む回答を生成するマルチターン対話システムを構築。

実験結果

リサーチクエスチョン

• RQ1 LLMは、自然言語ベースの構造的決定木によって、単純な症状Q&Aではなく、マルチターンで差別診断を推論する形で効果的に導けるか？
• RQ2 臨床実践ガイドラインからのフローチャートを、標準化されたLLMアクセス可能なフォーマットに体系的に抽出・変換・検証する方法は何か？
• RQ3 LLM実行可能なCGTを活用するリtrieバル増強生成フレームワークは、LLMが生成する医療回答の正確性と臨床的信頼性をどの程度向上させるか？
• RQ4 専門家が検証済みのガイドライン由来の意思決定ツリーを統合することで、LLM駆動の患者対話における一貫性と推論品質はどの程度向上するか？
• RQ5 大規模かつ公開可能な臨床意思決定ツリーのデータセット（MedDM）は、LLMベースの臨床意思決定支援システムのベンチマークと発展を支える基盤として機能できるか？

主な発見

• MedDMデータセットは、5,000件の医学文献リソースから抽出された1,202の検証済み臨床ガイドラインツリーを含み、12の病院部門と500種類以上の疾患をカバーしている。
• Faster R-CNNを用いたフローチャート認識パイプラインは、ノード検出の正確度が98%に達し、医学画像からの信頼性の高い構造的抽出を可能にした。
• LLM実行可能なCGT表現は、自然言語で差別診断論理を効果的にエンコードし、シンボリック論理への変換を必要とせずにLLMによる直接推論を可能にした。
• 意思決定検索ベースの対話フレームワークにより、LLMは医師と同様の照会パターンを再現でき、患者の応答に応じて動的にフォローアップ質問を選択可能となった。
• 標準的なLLMに比べて、診断推論の質が向上し、臨床ガイドラインの経路に沿った回答の整合性が向上し、一般的または推測的な回答が減少した。
• MedDMとCGTフレームワークを公開することで、今後のベンチマークの基盤が確立され、LLMベースの臨床意思決定支援の発展が促進された。