[论文解读] Building Trust in Mental Health Chatbots: Safety Metrics and LLM-Based Evaluation Tools

Jung In Park, Mahyar Abbasian+12 more|arXiv (Cornell University)|Aug 3, 2024

Digital Mental Health InterventionsPsychology被引用 3

一句话总结

本文提出了一种标准化、专家验证的评估框架，用于心理健康聊天机器人，采用100个基准问题、理想回应及基于指南的评估方法。结果表明，具备实时数据访问能力的代理式大语言模型方法在与人类评估对齐方面表现最佳，显著提升了静态大语言模型评分方法在安全性和可靠性方面的表现。

ABSTRACT

Objective: This study aims to develop and validate an evaluation framework to ensure the safety and reliability of mental health chatbots, which are increasingly popular due to their accessibility, human-like interactions, and context-aware support. Materials and Methods: We created an evaluation framework with 100 benchmark questions and ideal responses, and five guideline questions for chatbot responses. This framework, validated by mental health experts, was tested on a GPT-3.5-turbo-based chatbot. Automated evaluation methods explored included large language model (LLM)-based scoring, an agentic approach using real-time data, and embedding models to compare chatbot responses against ground truth standards. Results: The results highlight the importance of guidelines and ground truth for improving LLM evaluation accuracy. The agentic method, dynamically accessing reliable information, demonstrated the best alignment with human assessments. Adherence to a standardized, expert-validated framework significantly enhanced chatbot response safety and reliability. Discussion: Our findings emphasize the need for comprehensive, expert-tailored safety evaluation metrics for mental health chatbots. While LLMs have significant potential, careful implementation is necessary to mitigate risks. The superior performance of the agentic approach underscores the importance of real-time data access in enhancing chatbot reliability. Conclusion: The study validated an evaluation framework for mental health chatbots, proving its effectiveness in improving safety and reliability. Future work should extend evaluations to accuracy, bias, empathy, and privacy to ensure holistic assessment and responsible integration into healthcare. Standardized evaluations will build trust among users and professionals, facilitating broader adoption and improved mental health support through technology.

研究动机与目标

• 应对日益增长的对可靠、安全心理健康聊天机器人需求，因其在提供可及、类人化护理方面应用日益广泛。
• 开发一个全面的评估框架，以评估心理健康场景下聊天机器人的安全性、准确性和可靠性。
• 通过心理健康专家验证框架，确保其临床相关性，并降低产生有害回应的风险。
• 比较自动化评估方法，特别是基于大语言模型的评分与代理式方法，以识别最有效的技术。
• 为跨安全性、同理心、偏见和隐私维度的聊天机器人标准化、整体化评估奠定基础。

提出的方法

• 设计了一个包含100个精心筛选的问题及理想回应的基准框架，并由心理健康专业人员验证。
• 定义了五个指南问题，用于评估聊天机器人回应在安全性、临床适当性及伦理一致性方面的表现。
• 实施了三种自动化评估方法：基于大语言模型的评分、具备实时数据访问能力的代理式检索，以及与真实答案的嵌入相似度计算。
• 使用GPT-3.5-turbo作为聊天机器人回应的基础模型，并与专家验证的标准进行对比评估。
• 应用嵌入模型（例如，sentence transformers）计算聊天机器人输出与理想回应之间的语义相似度。
• 通过将自动化评分与心理健康专家的人工评估进行比较，评估性能表现。

实验结果

研究问题

• RQ1 标准化、专家验证的评估框架在提升心理健康聊天机器人安全性和可靠性方面效果如何？
• RQ2 在基于大语言模型的评分、代理式检索和嵌入相似度三种自动化评估方法中，哪一种与人类专家判断最接近？
• RQ3 通过代理式方法实现的实时数据访问在多大程度上提升了聊天机器人回应的准确性和安全性？
• RQ4 遵守临床指南和真实答案标准在多大程度上影响了大语言模型评估的表现？
• RQ5 自动化评估工具能否可靠地评估聊天机器人在安全性、同理心和偏见等关键心理健康维度上的表现？

主要发现

• 具备动态访问可靠信息来源的代理式评估方法，与人类专家评估结果表现出最强的对齐性。
• 指南和真实答案标准显著提升了基于大语言模型评估方法的准确性。
• 缺乏实时数据访问的静态大语言模型评分方法在可靠性方面逊于代理式方法，表明独立大语言模型推理存在局限性。
• 专家验证的框架有效提升了在多样化心理健康情境下回应的安全性和临床适当性。
• 基于嵌入的相似度度量提供了有帮助但精确度低于代理式方法的人工判断对齐结果。
• 标准化评估框架对于建立信任并实现心理健康聊天机器人在临床环境中的负责任部署至关重要。