[论文解读] Helping the Helper: Supporting Peer Counselors via AI-Empowered Practice and Feedback

Shang-Ling Hsu, Raj Sanjay Shah+5 more|arXiv (Cornell University)|May 15, 2023

Digital Mental Health Interventions被引用 10

一句话总结

CARE 是一个互动式 AI 工具，通过实时预测合适的 Motivational Interviewing 策略并生成示例回应，结合定量日志和定性用户研究进行评估。

ABSTRACT

Millions of users come to online peer counseling platforms to seek support. However, studies show that online peer support groups are not always as effective as expected, largely due to users' negative experiences with unhelpful counselors. Peer counselors are key to the success of online peer counseling platforms, but most often do not receive appropriate training.Hence, we introduce CARE: an AI-based tool to empower and train peer counselors through practice and feedback. Concretely, CARE helps diagnose which counseling strategies are needed in a given situation and suggests example responses to counselors during their practice sessions. Building upon the Motivational Interviewing framework, CARE utilizes large-scale counseling conversation data with text generation techniques to enable these functionalities. We demonstrate the efficacy of CARE by performing quantitative evaluations and qualitative user studies through simulated chats and semi-structured interviews, finding that CARE especially helps novice counselors in challenging situations. The code is available at https://github.com/SALT-NLP/CARE

研究动机与目标

• 解决在线同行辅导员有效培训扩规模的挑战。
• 为新手提供实时、情境感知的 AI 助手，而不替代人类辅导员。
• 将系统建立在 Motivational Interviewing (MI) 策略和大规模辅导数据之上。
• 通过定量系统日志和定性用户研究来证明 CARE 的有效性。

提出的方法

• 训练二分类器（基于 BERT）以从聊天中的最近五次话语中预测最合適的 MI 策略。
• 以预测的 MI 策略为条件，基于 DialoGPT 的生成器在每种情境下产生最多三个示例回应。
• 用基于 HateBERT 的不当内容分类器对生成的回应进行过滤以确保安全。
• 将后端模型与仿照 7 Cups 的前端界面集成，以在训练对话中实现实时建议。
• 使用 7 Cups 数据集 (7C-HQ, 7C-MI) 进行训练、验证和评估；通过系统日志、问卷调查和半结构化访谈进行评估。

Figure 1 . Example interface of CARE to empower supporters by (1) diagnosing which skill to use and (2) suggesting responses.

实验结果

研究问题

• RQ1 CARE 是否在模拟训练对话中提升同行辅导员回应的质量与实用性？
• RQ2 基于 BERT 的分类器在给定对话情境中预测合适的 MI 策略的准确性有多高？
• RQ3 以策略为条件的生成模型（DialoGPT-2、GPT-2、BART）在生成合适且安全的示例回应方面表现如何？
• RQ4 在新手和有经验的同行辅导员中，CARE 的感知有用性和可用性如何？

主要发现

• MI 策略分类器在测试集 7C-MI 上总体 F1 分数大于 0.705。
• DialoGPT-2 在以预测策略为条件时在生成任务上优于 GPT-2 与 BART，语义相似度（BERTScore）超过 0.87，与所期望策略约 78% 一致（Positive）。
• 使用 HateBERT 的安全过滤在 7C-MI 测试集上实现了 84.21% 的 F1 分数，表示对不当内容有较强的召回率。
• 生成质量因策略而异，对 Grounding、Open Questions 和 Introduction 的正向率较高，对 Reflection、Persuade 和 Affirm 的正向率较低。
• 该系统设计用于培训和模拟对话，具备实时建议和全人类监督，确保辅导员对所使用内容拥有控制权。

Figure 2 . CARE system architecture. CARE consists of 8 next-strategy predictors, one next-response generator, and one inappropriate response classifier. It predicts the probability distribution of the next counseling strategies and generates suggested responses for each confident strategy independe