[論文レビュー] DiReCT: Diagnostic Reasoning for Clinical Notes via Large Language Models

Bowen Wang, Jiuyang Chang+7 more|arXiv (Cornell University)|Aug 4, 2024

Topic Modeling被引用数 4

ひとこと要約

DiReCTは、臨床ノートの診断的推論用データセットを提供する。511件の医師がアノテートした症例を含み、段階的な診断的推論と解釈可能性を高めるための診断知識グラフを備えている。最先端のLLMを用いた評価では、モデルと人間の診断的推論の間で顕著な性能差が明らかになり、実臨床現場における推論能力の向上が求められていることが示された。

ABSTRACT

Large language models (LLMs) have recently showcased remarkable capabilities, spanning a wide range of tasks and applications, including those in the medical domain. Models like GPT-4 excel in medical question answering but may face challenges in the lack of interpretability when handling complex tasks in real clinical settings. We thus introduce the diagnostic reasoning dataset for clinical notes (DiReCT), aiming at evaluating the reasoning ability and interpretability of LLMs compared to human doctors. It contains 511 clinical notes, each meticulously annotated by physicians, detailing the diagnostic reasoning process from observations in a clinical note to the final diagnosis. Additionally, a diagnostic knowledge graph is provided to offer essential knowledge for reasoning, which may not be covered in the training data of existing LLMs. Evaluations of leading LLMs on DiReCT bring out a significant gap between their reasoning ability and that of human doctors, highlighting the critical need for models that can reason effectively in real-world clinical scenarios.

研究の動機と目的

• 複雑な実臨床の診断的タスクを処理する際の、大規模言語モデル（LLM）の解釈可能性の欠如に対処すること。
• 人間の医師が実施する臨床ノートから最終診断までの全推論プロセスを捉えたベンチマークデータセットを開発すること。
• LLMの学習データに常に含まれない分野固有の知識を支援するため、臨床ガイドラインに基づいた診断知識グラフを提供すること。
• 多証拠を伴う段階的臨床的推論において、LLMの性能と人間の医師の診断的推論の間のギャップを評価すること。
• 構造的で説明可能な推論を通じて、より透明性が高く信頼性の高いLLMベースの診断アシスタントの開発を可能にすること。

提案手法

• DiReCTデータセットは、MIMIC-IVから抽出された511件の臨床ノートを含み、心臓病学、消化器内科学、神経内科学、呼吸器内科学、内分泌学の分野にまたがる25の疾患カテゴリをカバーしている。
• 各臨床ノートは医師によって、重要な所見を特定し、最終診断に至るまでの段階的診断的推論チェーンを提供する形でアノテートされている。
• 診断知識グラフは、確立された臨床ガイドラインから構築され、疾患固有の診断基準と推論パスをエンコードしている。
• AIエージェントベースラインは、知識グラフを用いて診断を観察からの根拠に基づく推論の系列に分解する。
• 評価フレームワークは、直接予測と思考の道筋生成の両方を用いて、LLMの診断的推論性能を測定し、人間がアノテートした推論と比較している。
• データセットはPhysioNet経由で公開され、コードはGitHubで入手可能で、再現性およびさらなるベンチマークに貢献している。

Figure 1: When a patient is admitted, an initial consultation takes place to collect subjective information. Subsequent observations may then require further examination to confirm the diagnosis.

実験結果

リサーチクエスチョン

• RQ1 最先端のLLMは、複雑な臨床ノートが与えられた場合、人間の医師の段階的診断的推論プロセスをどれほど正確に再現できるか？
• RQ2 形式的な診断知識グラフを組み込むことで、LLMベースの診断的推論の解釈可能性と正確性がどの程度向上するか？
• RQ3 多証拠を伴う実臨床シナリオにおいて、LLMと人間の医師の推論能力のギャップはどの程度か？
• RQ4 LLMは外部の知識グラフを効果的に活用して、学習データに欠落する知識のギャップを補填できるか？
• RQ5 臨床ノートの作成スタイルの違いが、LLMが関連する診断的証拠を特定する能力にどのように影響するか？

主な発見

• 現在の最先端のLLMは、複雑な臨床ノートにおける診断的推論において、人間の医師と比較して顕著な性能差を示している。
• 診断知識グラフの使用は、推論の一貫性を向上させ、学習データに存在しないガイドラインに基づく知識へのアクセスを支援する。
• 知識グラフを用いた単純なAIエージェントベースラインは、ゼロショットLLMプロンプトよりも人間の推論に近い結果を達成しており、構造的知識の価値を示している。
• DiReCTデータセットは、臨床ノートの表現形のばらつきのため、表面的なテキストマッチングだけでは正確な診断的推論が不十分であることを明らかにした。
• 外部知識を提供されたとしても、LLMが多証拠の含意関係や順次的推論を処理する能力に限界があることが、データセットによって露呈された。
• 結果から、臨床ガイドラインに基づいた透明性があり多段階的な診断的推論を実行できるモデルの開発が、極めて重要であることが強調された。

Figure 2: A part of $\mathcal{K}_{i}$ for $i$ being Acute Coronary Syndromes .