[論文レビュー] Enhancing Diagnostic Accuracy through Multi-Agent Conversations: Using Large Language Models to Mitigate Cognitive Bias

Yu He Ke, Rui Yang+5 more|arXiv (Cornell University)|Jan 26, 2024

Clinical Reasoning and Diagnostic Skills被引用数 5

ひとこと要約

この論文は、GPT-4を搭載したマルチエージェントフレームワークが、臨床チームのダイナミクスをシミュレーションし認知バイアスを緩和することで、難しいケースの診断精度を向上させることを示しており、上位鑑別精度を0%から71.3%、最終的な2つの鑑別を80%へと向上させている。

ABSTRACT

Background: Cognitive biases in clinical decision-making significantly contribute to errors in diagnosis and suboptimal patient outcomes. Addressing these biases presents a formidable challenge in the medical field. Objective: This study explores the role of large language models (LLMs) in mitigating these biases through the utilization of a multi-agent framework. We simulate the clinical decision-making processes through multi-agent conversation and evaluate its efficacy in improving diagnostic accuracy. Methods: A total of 16 published and unpublished case reports where cognitive biases have resulted in misdiagnoses were identified from the literature. In the multi-agent framework, we leveraged GPT-4 to facilitate interactions among four simulated agents to replicate clinical team dynamics. Each agent has a distinct role: 1) To make the final diagnosis after considering the discussions, 2) The devil's advocate and correct confirmation and anchoring bias, 3) The tutor and facilitator of the discussion to reduce premature closure bias, and 4) To record and summarize the findings. A total of 80 simulations were evaluated for the accuracy of initial diagnosis, top differential diagnosis and final two differential diagnoses. Results: In a total of 80 responses evaluating both initial and final diagnoses, the initial diagnosis had an accuracy of 0% (0/80), but following multi-agent discussions, the accuracy for the top differential diagnosis increased to 71.3% (57/80), and for the final two differential diagnoses, to 80.0% (64/80). Conclusions: The framework demonstrated an ability to re-evaluate and correct misconceptions, even in scenarios with misleading initial investigations. The LLM-driven multi-agent conversation framework shows promise in enhancing diagnostic accuracy in diagnostically challenging medical scenarios.

研究の動機と目的

• 臨床診断における認知バイアスに対処する必要性を動機づける。
• 診断推論の過程でマルチエージェントLLMフレームワークがバイアスを緩和できるかを調査する。
• 初期診断、トップ鑑別、最終的な鑑別診断全体で診断精度の改善を評価する。

提案手法

• GPT-4を用いて、役割が異なる4エージェントのフレームワークを構築する：最終診断エージェント、デビルズアドボケート（反対意見を唱える役）、チューター/ファシリテーター、記録者/要約者。
• 認知バイアスが知られている16のケースレポートにおいて臨床意思決定をシミュレートする。
• 初期診断からトップ鑑別、最終的な2つの鑑別までの変化を評価するために80のシミュレーションを実行する。
• 初期、トップ鑑別、そして最終的な2つの鑑別の精度指標を評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントLLMフレームワークは、診断推論における誤解を招く初期調査や認知バイアスを訂正できるか。
• RQ2 エージェントの役割（デビルズアドボケート、チューター、レコーダー）が診断精度に与える影響は何か。
• RQ3 マルチエージェント設定の下で、初期からトップ鑑別、そして最終的な2つの鑑別へと診断精度がどのように変化するか。
• RQ4 LLM主導のディスカッションは、診断が難しい状況で精度を向上させることができるか。

主な発見

• 初期診断の精度は0%（0/80）だった。
• マルチエージェントによるディスカッション後、トップ鑑別の精度は71.3%（57/80）に上昇した。
• 最終的な2つの鑑別の精度は80.0%（64/80）に達した。
• このフレームワークは、誤解を招く初期データがあっても再評価と誤解の是正を示した。