[论文解读] Bridging the Skills Gap: Evaluating an AI-Assisted Provider Platform to Support Care Providers with Empathetic Delivery of Protocolized Therapy

William R. Kearns, Jessica Bertram+6 more|PubMed|Jan 8, 2024

Digital Mental Health InterventionsPsychology参考文献 7被引用 3

一句话总结

本研究评估了人工智能辅助临床医生平台（A2P2），这是一个基于文本的虚拟治疗界面，利用人工智能在治疗会话期间提供共情且符合治疗指南的回应建议。该平台将回应时间平均缩短了29.34%，共情回应准确率提升了三倍（p=0.0001），且在具备或不具备心理健康专业背景的临床医生中，目标推荐准确率提高了66.67%，表明其在弥合临床技能差距方面具有出色的可用性与有效性。

ABSTRACT

Despite the high prevalence and burden of mental health conditions, there is a global shortage of mental health providers. Artificial Intelligence (AI) methods have been proposed as a way to address this shortage, by supporting providers with less extensive training as they deliver care. To this end, we developed the AI-Assisted Provider Platform (A2P2), a text-based virtual therapy interface that includes a response suggestion feature, which supports providers in delivering protocolized therapies empathetically. We studied providers with and without expertise in mental health treatment delivering a therapy session using the platform with (intervention) and without (control) AI-assistance features. Upon evaluation, the AI-assisted system significantly decreased response times by 29.34% (p=0.002), tripled empathic response accuracy (p=0.0001), and increased goal recommendation accuracy by 66.67% (p=0.001) across both user groups compared to the control. Both groups rated the system as having excellent usability.

研究动机与目标

• 通过利用人工智能支持经验较少的临床医生，应对全球心理健康专业人员短缺的问题。
• 开发一种基于文本的人工智能平台，以增强基于治疗指南的共情式治疗交付。
• 评估人工智能辅助是否能提升不同临床经验水平的临床医生在回应质量、速度和准确性方面的表现。
• 评估非专业及专家级临床医生对人工智能系统的可用性及感知价值。
• 确定人工智能支持是否能有效缩小心理健康护理中专家与非专家临床医生之间的临床技能差距。

提出的方法

• 设计一种基于文本的虚拟治疗界面，为基于治疗指南的治疗提供实时人工智能回应建议。
• 实施检索增强生成（RAG）流程，将人工智能回应基于临床指南和共情沟通原则。
• 集成微调后的大型语言模型（LLM），以生成上下文恰当、富有共情且符合治疗指南的回应。
• 开展对照研究，比较两组临床医生（心理健康专家与非专家）在人工智能辅助与非辅助治疗会话中的表现。
• 使用自动化指标评估回应时间、共情准确率及目标推荐准确率。
• 应用可用性评估（如系统可用性量表）来衡量两组临床医生的用户体验。

实验结果

研究问题

• RQ1 人工智能辅助是否能显著缩短专家与非专家临床医生在基于治疗指南的治疗会话中的回应时间？
• RQ2 人工智能辅助在多大程度上提升了治疗中回应的共情准确率？
• RQ3 人工智能辅助如何影响治疗会话中与目标相关建议的准确率？
• RQ4 不同临床训练水平的临床医生是否认为该人工智能平台具有可用性与价值？
• RQ5 人工智能支持是否能有效缩小心理健康护理中专家与非专家临床医生之间的临床技能差距？

主要发现

• 与对照组相比，人工智能辅助系统使临床医生的回应时间平均缩短了29.34%（p=0.002）。
• 在人工智能辅助条件下，共情回应准确率提升了三倍（p=0.0001），且无论临床医生是否具备专业背景，结果均一致。
• 使用人工智能辅助后，目标推荐准确率提高了66.67%（p=0.001），表明其与治疗指南的契合度更强。
• 专家与非专家临床医生均对系统评价为极佳可用性，且在感知易用性方面无显著差异。
• 人工智能系统在不同临床医生群体中均表现出一致的性能提升，表明其能有效支持经验较少的临床医生提供高质量、富有共情的治疗。