[論文レビュー] AI-based Clinical Decision Support for Primary Care: A Real-World Study

Robert Korom, Sarah Kiptinness+16 more|ArXiv.org|Jul 22, 2025

Artificial Intelligence in Healthcare被引用数 6

ひとこと要約

この研究はNairobi, KenyaでデプロイされたLLMベースの臨床意思決定支援ツール（AI Consult）を評価し、実臨床での臨床エラーの減少と臨床医の肯定的なフィードバックを示し、患者報告アウトカムに有意差は認められない。

ABSTRACT

We evaluate the impact of large language model-based clinical decision support in live care. In partnership with Penda Health, a network of primary care clinics in Nairobi, Kenya, we studied AI Consult, a tool that serves as a safety net for clinicians by identifying potential documentation and clinical decision-making errors. AI Consult integrates into clinician workflows, activating only when needed and preserving clinician autonomy. We conducted a quality improvement study, comparing outcomes for 39,849 patient visits performed by clinicians with or without access to AI Consult across 15 clinics. Visits were rated by independent physicians to identify clinical errors. Clinicians with access to AI Consult made relatively fewer errors: 16% fewer diagnostic errors and 13% fewer treatment errors. In absolute terms, the introduction of AI Consult would avert diagnostic errors in 22,000 visits and treatment errors in 29,000 visits annually at Penda alone. In a survey of clinicians with AI Consult, all clinicians said that AI Consult improved the quality of care they delivered, with 75% saying the effect was "substantial". These results required a clinical workflow-aligned AI Consult implementation and active deployment to encourage clinician uptake. We hope this study demonstrates the potential for LLM-based clinical decision support tools to reduce errors in real-world settings and provides a practical framework for advancing responsible adoption.

研究の動機と目的

• プライマリケアにおいて、LLMベースのCDSツールが臨床文書作成および意思決定エラーを減らすかを評価する。
• 臨床的適合した導入と積極的な展開が受容と有効性にどのように影響するかを評価する。
• 実世界の設定での臨床医の使いやすさ、ワークフロー統合、患者報告アウトカムを特徴づける。

提案手法

• AI Consult をバックグラウンドで実行されるセーフティネットとして展開し、重要な意思決定ポイントで traffic-light インターフェース（緑/黄/赤）を介して出力を提示する。
• EMR との非同期のイベント駆動統合を使用し、ユーザーが重要フィールドから離れたときにモデルのレビューをトリガーする。
• ローカルコンテキストと few-shot の例を用いたプロンプトエンジニアリングを適用し、カラー、根拠、推奨アクションを生成する。
• 15 クリニックと39,849件の訪問を対象に、AI Consult で管理された訪問とそれ以外を比較し、臨床文書の独立した医師評価を行う。
• 臨床医の調査と定期的なフォローアップコールを収集して、使いやすさと患者報告アウトカムを評価する。

実験結果

リサーチクエスチョン

• RQ1 ライブのプライマリケア診療でAI Consult CDSは診断エラーと治療エラーを減らすか？
• RQ2 臨床に適合した実装と積極的な展開はツールの受容と有効性にどう影響するか？
• RQ3 患者報告アウトカムと臨床医が認識するケアの質へはどのような影響か？
• RQ4 実世界のクリニックでのLLMベースCDSの安全で効果的な採用にはどのような要因が重要か？

主な発見

• AI Consult を用いた臨床医は診断エラーが16%少なく（NNT 18.1）、治療エラーが13%少なく（NNT 13.9）。
• 記録時の問診エラーが32%減少（NNT 11.3）、検査エラーが10%減少（NNT 27.8）。
• 絶対値では、AI Consult は Penda で毎年診断エラーを22,000件、治療エラーを29,000件回避する。
• AI 群の臨床医はケアの質の改善を報告し、75%が効果を substantial（相当）とし、全員が質の改善を示した；患者報告アウトカムには統計的有意差は認められなかった。
• GPT-4.1 ベースの評価は、医師評価者よりも大きなエラー削減を示唆した（例: 治療エラー22%、診断エラー19%の削減）。
• AI Consult の助言が積極的に害を及ぼしたケースは存在しなかった。