[论文解读] Challenges of Large Language Models for Mental Health Counseling

Neo Christopher Chung, George Dyer+1 more|arXiv (Cornell University)|Nov 23, 2023

Mental Health via Writing被引用 7

一句话总结

本文识别并分析了在心理健康咨询中部署大语言模型（LLMs）时面临的五大核心挑战——幻觉、可解释性、隐私、临床有效性及偏见。文章提出了实用的、近期可实施的解决方案，如检索增强生成（retrieval-augmented generation）、使用高质量数据进行微调，以及偏见缓解策略，以提升心理支持应用中的可靠性与伦理使用。

ABSTRACT

The global mental health crisis is looming with a rapid increase in mental disorders, limited resources, and the social stigma of seeking treatment. As the field of artificial intelligence (AI) has witnessed significant advancements in recent years, large language models (LLMs) capable of understanding and generating human-like text may be used in supporting or providing psychological counseling. However, the application of LLMs in the mental health domain raises concerns regarding the accuracy, effectiveness, and reliability of the information provided. This paper investigates the major challenges associated with the development of LLMs for psychological counseling, including model hallucination, interpretability, bias, privacy, and clinical effectiveness. We explore potential solutions to these challenges that are practical and applicable to the current paradigm of AI. From our experience in developing and deploying LLMs for mental health, AI holds a great promise for improving mental health care, if we can carefully navigate and overcome pitfalls of LLMs.

研究动机与目标

• 通过利用大语言模型（LLMs）扩大心理支持的可及性，应对日益严峻的全球心理健康危机。
• 识别并分析阻碍LLMs在心理健康咨询中安全、有效部署的关键挑战。
• 提出实用的、近期可实施的解决方案，以提升临床应用中模型的准确性、公平性、可解释性与隐私保护。
• 确保LLMs在心理健康服务中实现伦理且负责任的整合，最大限度减少因幻觉与偏见带来的伤害。

提出的方法

• 对LLMs在心理健康场景中的局限性进行全面分析，重点关注幻觉、可解释性、隐私、临床有效性和偏见。
• 将LLM应用分类为面向用户的心理咨询工具与辅助治疗师的系统，以评估其各自面临的不同挑战。
• 提出检索增强生成（RAG）技术，通过将回应基于事实知识源来减少幻觉。
• 倡导使用高质量、经筛选的心理健康数据集对LLMs进行微调，以提升准确性并减少幻觉输出。
• 建议采用算法公平性技术并推动多样化数据收集，以减轻偏见，尤其针对LGBTQ+等边缘化群体。
• 强调需要引入人类在回路中的验证机制，并由心理健康专业人员进行关键性评估，以确保LLMs的负责任部署。

实验结果

研究问题

• RQ1 LLMs中的幻觉在多大程度上损害心理健康咨询应用的可靠性与安全性？
• RQ2 在心理支持应用中，LLMs的可解释性与模型透明度在多大程度上可以得到改善？
• RQ3 在心理健康环境中使用LLMs处理电子健康记录（EHRs）时，主要的隐私与监管风险是什么？
• RQ4 如何评估LLMs在心理咨询服务中的临床有效性？需要哪些基准？
• RQ5 训练数据中的偏见在哪些方面影响LLMs在心理健康咨询中的表现，特别是对污名化或代表性不足的人群？

主要发现

• LLMs表现出显著的幻觉现象，即生成看似连贯但事实错误或具有误导性的回应，严重损害心理健康应用中的信任与安全性。
• 检索增强生成（RAG）以及在高质量心理健康数据上进行微调，是减少幻觉并提升事实准确性的有效策略。
• 模型可解释性仍是主要挑战，限制了临床医生对LLM生成建议的信任、验证与改进能力。
• LLMs中的偏见根植于训练数据，尤其对LGBTQ+等边缘化群体造成严重影响，这些群体因污名化与代表性不足而面临更高的心理健康风险。
• 监管与伦理框架至关重要，因为当前AI系统缺乏足够的临床有效性证据，若缺乏监督部署，可能造成伤害。
• 尽管存在局限性，LLMs在用作治疗师的协作助手或在基于规则、由人类监督的系统中时，仍可有效支持心理健康照护，提升可及性与可扩展性。