[论文解读] Enhancing Psychological Counseling with Large Language Model: A Multifaceted Decision-Support System for Non-Professionals

Guanghui Fu, Qing Zhao+10 more|arXiv (Cornell University)|Aug 29, 2023

Mental Health via Writing被引用 17

一句话总结

这篇论文提出一个基于大型语言模型的咨询师支持系统，帮助在线心理干预中的非专业人士，并通过多维度的专家评估进行验证。

ABSTRACT

In the contemporary landscape of social media, an alarming number of users express negative emotions, some of which manifest as strong suicidal intentions. This situation underscores a profound need for trained psychological counselors who can enact effective mental interventions. However, the development of these professionals is often an imperative but time-consuming task. Consequently, the mobilization of non-professionals or volunteers in this capacity emerges as a pressing concern. Leveraging the capabilities of artificial intelligence, and in particular, the recent advances in large language models, offers a viable solution to this challenge. This paper introduces a novel model constructed on the foundation of large language models to fully assist non-professionals in providing psychological interventions on online user discourses. This framework makes it plausible to harness the power of non-professional counselors in a meaningful way. A comprehensive study was conducted involving ten professional psychological counselors of varying expertise, evaluating the system across five critical dimensions. The findings affirm that our system is capable of analyzing patients' issues with relative accuracy and proffering professional-level strategies recommendations, thereby enhancing support for non-professionals. This research serves as a compelling validation of the application of large language models in the field of psychology and lays the groundwork for a new paradigm of community-based mental health support.

研究动机与目标

• 通过利用 LLMs 缓解训练有素的心理咨询师短缺问题，使非专业人士能够提供在线心理支持。
• 开发一个安全、注重隐私的系统，帮助非专业人士进行分析与应对策略。
• 通过多轮对话的专家评估验证系统的有效性与安全性。

提出的方法

• 构建一个 LLM-咨询师支持工作流，咨询师输入初步回应与客户评论，系统为咨询师审核提供增强的 Reply+。
• 使用正则表达式实现隐私信息过滤，在处理前屏蔽可识别数据。
• 设计一个结构化提示，定义 AI 角色、任务、边界、上下文、错误处理、资源、认知扭曲识别以及输入/输出格式。
• 使用净化管线，通过嵌入和向量数据库将生成内容与攻击性数据集进行比较，确保输出非攻击性（阈值 α = 0.2）。
• 从 LLM 输出生成报告，并让人工咨询师评估以在五个维度上评估准确性和安全性。
• 讨论系统设计考虑因素，包括专家监督、伦理约束，以及现实部署的潜在局限性。

实验结果

研究问题

• RQ1 LLM-咨询师系统是否能够以与专业标准相当的准确度分析客户的问题和认知扭曲？
• RQ2 生成的言语策略是否适合且对非专业咨询师有效？
• RQ3 系统是否能在确保安全与隐私的同时提供有用的后续步骤建议？
• RQ4 单轮与多轮对话中，专家评估对系统生成报告的可靠性有多大？
• RQ5 在社交媒体场景部署此类系统的关键局限性与安全隐患是什么？

主要发现

• 专家评定系统在患者问题分析方面的准确性较高（单轮约 ≈93%；多轮约 ≈97.5%）。
• 认知扭曲分析的准确性很高（单轮约 ≈91.5%；多轮约 ≈95%）。
• 咨询师行为分析在单轮中准确性较高（约 ≈94.5%），在多轮情境中略低（约 ≈85%）。
• 言语策略的适切性在单轮约 84%，在多轮约 78.75%，存在明显的不确定性。
• 对后续步骤的有效性建议在单轮评估中约 87%，在多轮评估中约 82.5% 的准确性。
• Krippendorff’s Alpha 指示出高的评审者间一致性（单轮 0.98，多轮 0.95）。