[論文レビュー] Large Language Models are Clinical Reasoners: Reasoning-Aware Diagnosis Framework with Prompt-Generated Rationales

Taeyoon Kwon, Kai Tzu-iunn Ong+8 more|arXiv (Cornell University)|Dec 12, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、アルツハイマー病の診断のための臨床的根拠（Clinical Chain-of-Thought; Clinical CoT）を生成するために大規模言語モデル（LLMs）を活用する、推論に配慮した診断フレームワークを提案する。患者データに基づく段階的で順序立てた推論を促すことで、診断の正確性が向上し、人間と似た形式の根拠が生成される。本研究では、LLMsが時間的・人的コストを抑えて臨床的推論を効果的にモデル化できることを示している。

ABSTRACT

Machine reasoning has made great progress in recent years owing to large language models (LLMs). In the clinical domain, however, most NLP-driven projects mainly focus on clinical classification or reading comprehension, and under-explore clinical reasoning for disease diagnosis due to the expensive rationale annotation with clinicians. In this work, we present a "reasoning-aware" diagnosis framework that rationalizes the diagnostic process via prompt-based learning in a time- and labor-efficient manner, and learns to reason over the prompt-generated rationales. Specifically, we address the clinical reasoning for disease diagnosis, where the LLM generates diagnostic rationales providing its insight on presented patient data and the reasoning path towards the diagnosis, namely Clinical Chain-of-Thought (Clinical CoT). We empirically demonstrate LLMs/LMs' ability of clinical reasoning via extensive experiments and analyses on both rationale generation and disease diagnosis in various settings. We further propose a novel set of criteria for evaluating machine-generated rationales' potential for real-world clinical settings, facilitating and benefiting future research in this area.

研究の動機と目的

• 既存のNLPおよびディープラーニング手法では、診断を単純な分類タスクとして扱う傾向にあり、臨床的推論が欠落していることに対処する。
• 臨床的根拠のアノテーションが高コストで時間がかかるという課題を克服するため、プロンプトベース学習を用いてLLMsが高品質な臨床的根拠を生成する。
• 実用的なフレームワークを構築し、根拠生成、少数の例を用いた診断、知識蒸留を統合することで、実臨床環境への導入を可能にする。
• 機械が生成する根拠の臨床的関連性と推論品質を評価するための新しい評価基準を確立する。
• LLMsがAI駆動医療における信頼性と解釈可能性を高めるために、人間と似た臨床的推論を効果的に再現できることを示す。

提案手法

• 臨床的推論をClinical Chain-of-Thought（Clinical CoT）として定式化し、LLMsが患者データに基づいて自然言語で診断の根拠を説明するようにする。
• 新しい患者症例の推論経路を生成するのを支援するため、2つの例示的根拠（exemplar rationales）を用いた少数の例（few-shot）プロンプトを適用する。
• LLMsの推論および診断能力を小規模で展開可能なモデルに移すために、知識蒸留を用いて学生モデルを訓練する。
• 根拠生成と診断を、順次生成される自動回帰生成パイプラインに統合する。
• 機械が生成する根拠を評価するための新しい基準セットを設計し、臨床的正確性、論理的整合性、専門家による推論との整合性を評価する。
• マルチモodalデータ（MRI、認知スコア、APOE状態）を用いたアルツハイマー病診断のテストベッドデータセットに、このフレームワークを適用し、既存の臨床的知識を活用する。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、臨床医の診断推論プロセスを模倣する臨床的に意味のある根拠を生成できるか？
• RQ2 プロンプトで生成された根拠を用いた推論に配慮した生成が、標準的な分類アプローチと比較して診断性能を向上させるか？
• RQ3 知識蒸留された学生モデルは、臨床現場でLLMsの推論および診断正確性をどの程度再現できるか？
• RQ4 LLMsが生成する根拠の質と臨床的関連性は、人間の専門家が生成する根拠と比べてどの程度か、そしてそれらを信頼性高く評価するための基準は何か？
• RQ5 提示されたフレームワークは、人間によるアノテーションが最小限の状況でも、実臨床診断タスクに効果的に適用できるか？

主な発見

• LLMsは、患者データに基づく多段階の推論を反映する臨床的に関連性のある根拠を生成でき、誤診例の75％の根拠で医学的に正しい内容であった。
• 推論に配慮した診断フレームワークは、標準的な分類ベースラインと比較して、特に少数の例設定下で顕著に診断性能を向上させた。
• 蒸留された学生モデルは、推論の透明性を維持したまま高い診断正確性を達成しており、臨床環境での効率的な展開が可能である。
• 人間による評価では、生成された根拠が妥当で、専門家が用いる臨床的推論パターンと整合的であると評価された。
• 提案された評価基準は、高品質な根拠と低品質な根拠を効果的に区別でき、今後の説明可能な臨床AI分野の研究基盤を提供する。
• 適切にプロンプトされたLLMsが、臨床的推論を実行できることを本フレームワークが示しており、診断意思決定支援分野への応用可能性が示唆された。