[논문 리뷰] AI-based Clinical Decision Support for Primary Care: A Real-World Study

Robert Korom, Sarah Kiptinness외 16명|ArXiv.org|2025. 07. 22.

Artificial Intelligence in Healthcare인용 수 6

한 줄 요약

이 연구는 케냐 나이로비에 배치된 LLM 기반 임상의사결정지원 도구(AI Consult)를 평가하여 생생한 진료 환경에서 임상 오류가 감소하고 임상의 피드백이 긍정적이며 환자 보고 결과에는 유의한 차이가 없다는 것을 보여준다.

ABSTRACT

We evaluate the impact of large language model-based clinical decision support in live care. In partnership with Penda Health, a network of primary care clinics in Nairobi, Kenya, we studied AI Consult, a tool that serves as a safety net for clinicians by identifying potential documentation and clinical decision-making errors. AI Consult integrates into clinician workflows, activating only when needed and preserving clinician autonomy. We conducted a quality improvement study, comparing outcomes for 39,849 patient visits performed by clinicians with or without access to AI Consult across 15 clinics. Visits were rated by independent physicians to identify clinical errors. Clinicians with access to AI Consult made relatively fewer errors: 16% fewer diagnostic errors and 13% fewer treatment errors. In absolute terms, the introduction of AI Consult would avert diagnostic errors in 22,000 visits and treatment errors in 29,000 visits annually at Penda alone. In a survey of clinicians with AI Consult, all clinicians said that AI Consult improved the quality of care they delivered, with 75% saying the effect was "substantial". These results required a clinical workflow-aligned AI Consult implementation and active deployment to encourage clinician uptake. We hope this study demonstrates the potential for LLM-based clinical decision support tools to reduce errors in real-world settings and provides a practical framework for advancing responsible adoption.

연구 동기 및 목표

• LLM 기반 CDS 도구가 1차 진료에서 임상 문서화 및 의사결정 오류를 감소시키는지 평가한다.
• 임상적 정렬된 구현 및 적극적 배치가 도입과 효과에 어떤 영향을 미치는지 평가한다.
• 현실 세계 설정에서 임상의 사용성, 작업 흐름 통합 및 환자 보고 결과를 특징화한다.

제안 방법

• 주요 결정 시점에 녹색/황색/적색의 신호등 인터페이스를 통해 백그라운드에서 작동하는 안전망으로 AI Consult를 배치하고 출력을 제시한다.
• 중요 필드를 벗어날 때 모델 검토를 트리거하기 위해 EMR과 비동기적 이벤트 기반 통합을 사용한다.
• 현지 맥락과 소수 샘플 예제를 활용한 프롬프트 엔지니어링으로 색상, 근거, 제안된 조치를 산출한다.
• AI Consult로 관리된 방문과 그렇지 않은 방문을 15개 클리닉에서 39,849회 방문에 걸쳐 비교하고 임상 문서화에 대한 독립 의사의 검토를 수행한다.
• 사용성 및 환자 보고 결과를 평가하기 위해 임상의 설문조사와 일상적 추적 전화를 수집한다.

실험 결과

연구 질문

• RQ1 AI Consult CDS가 실제 1차 진료 방문에서 진단 오류와 치료 오류를 감소시키는가?
• RQ2 임상적으로 정렬된 구현 및 적극적 배치가 도구의 채택 및 효과에 어떤 영향을 미치는가?
• RQ3 환자 보고 결과와 임상의 지각된 돌봄의 질에 어떤 영향이 있는가?
• RQ4 실제 현장의 클리닉에서 LLM 기반 CDS의 안전하고 효과적인 채택에 중요한 요소는 무엇인가?

주요 결과

• AI Consult를 사용한 임상의는 진단 오류가 16% 감소하고(NNT 18.1), 치료 오류가 13% 감소했다(NNT 13.9).
• 병력 청취 오류가 32% 감소했고(NNT 11.3), 조사/검사 오류가 10% 감소했다(NNT 27.8).
• 절대 수치로, AI Consult는 Penda에서 연간 진단 오류를 22,000건, 치료 오류를 29,000건 방지한다.
• AI 그룹의 임상의는 진료 질이 향상되었다고 응답했고, 75%가 효과를 '상당'하다고 답했으며 모든 응답자가 품질의 향상을 지적했다; 환자 보고 결과에서는 통계적으로 유의한 차이가 나타나지 않았다.
• GPT-4.1 기반 평가에서는 의사 평가자보다 더 큰 오류 감소를 시사했다(예: 치료 오류 22%, 진단 오류 19% 감소).
• AI Consult의 조언이 적극적으로 해를 준 사례를 발견하지 못했다.