[论文解读] CharacterChat: Learning towards Conversational AI with Personalized Social Support

Quan Tu, Chuanqi Chen+6 more|arXiv (Cornell University)|Aug 20, 2023

Digital Mental Health Interventions被引用 5

一句话总结

本文提出 CharacterChat，一种新型社交支持对话（S2Conv）框架，通过 MBTI-1024 数据库为个体匹配人格契合的虚拟支持者——1,024 位具有不同 MBTI 人格特征的虚拟角色。通过结合人格特征与记忆增强的对话建模技术及人际匹配插件，CharacterChat 显著提升了个性化情感支持效果，实证结果表明，在选择最优匹配时，其性能相比基线模型提升了 12-15%。

ABSTRACT

In our modern, fast-paced, and interconnected world, the importance of mental well-being has grown into a matter of great urgency. However, traditional methods such as Emotional Support Conversations (ESC) face challenges in effectively addressing a diverse range of individual personalities. In response, we introduce the Social Support Conversation (S2Conv) framework. It comprises a series of support agents and the interpersonal matching mechanism, linking individuals with persona-compatible virtual supporters. Utilizing persona decomposition based on the MBTI (Myers-Briggs Type Indicator), we have created the MBTI-1024 Bank, a group that of virtual characters with distinct profiles. Through improved role-playing prompts with behavior preset and dynamic memory, we facilitate the development of the MBTI-S2Conv dataset, which contains conversations between the characters in the MBTI-1024 Bank. Building upon these foundations, we present CharacterChat, a comprehensive S2Conv system, which includes a conversational model driven by personas and memories, along with an interpersonal matching plugin model that dispatches the optimal supporters from the MBTI-1024 Bank for individuals with specific personas. Empirical results indicate the remarkable efficacy of CharacterChat in providing personalized social support and highlight the substantial advantages derived from interpersonal matching. The source code is available in \url{https://github.com/morecry/CharacterChat}.

研究动机与目标

• 解决传统情感支持对话（ESC）在为多样化人格提供个性化支持方面的局限性。
• 通过将求助者与人格契合的虚拟支持者匹配，降低心理抵触感并提升参与度。
• 利用大语言模型构建可扩展、一致且基于事实的个性化社交支持系统。
• 探究人际匹配对 AI 驱动对话中社交支持效果的影响。
• 创建新的基准数据集 MBTI-S2Conv 以及一个全面的 S2Conv 系统 CharacterChat。

提出的方法

• 通过将 ChatGPT 的行为分解为 16 种不同的 MBTI 人格类型，构建了 MBTI-1024 数据库，生成 1,024 位具有独特人格与记忆的虚拟角色。
• 开发了改进的角色扮演提示，包含行为预设与动态记忆机制，以控制记忆长度并提升回复一致性。
• 通过 MBTI-1024 数据库中求助者与支持者之间的模拟互动，生成了包含 10,240 次个性化社交支持对话的 MBTI-S2Conv 数据集。
• 微调 Llama2-7B 模型，构建基于人格与记忆的对话模型，以实现上下文与个性化一致的响应。
• 设计了一种人际匹配插件模型，基于 MBTI-S2Conv 的评估得分进行训练，根据求助者人格选择最优支持者。
• 将对话模型与匹配插件整合至 CharacterChat，构建一个支持实时个性化社交支持的全栈 S2Conv 系统。

实验结果

研究问题

• RQ1 具备人格契合虚拟支持者的 S2Conv 框架是否能显著提升情感支持质量，相较于通用 ESC 模型？
• RQ2 求助者与支持者人格之间的人际匹配在多大程度上提升了感知到的支持效果？
• RQ3 动态记忆与行为预设的引入如何影响个性化 AI 对话中的回复一致性与用户满意度？
• RQ4 专用的人格驱动模型是否在社交支持场景中优于通用大语言模型？
• RQ5 人格契合度对用户报告的情绪改善与感知支持质量有何影响？

主要发现

• 当使用最优支持者（CharacterChat o）时，其在所有评估指标上均优于通用大模型如 ChatGPT 与 Vicuna-13b-v1.5，情感支持质量提升 12-15%。
• 人际匹配机制显著提升了支持效果，使用最优支持者（o）相比随机选择支持者（r）实现了 12% 的性能提升。
• 皮尔逊相关性分析显示，求助者与支持者人格契合度与感知情绪改善之间存在统计显著的正相关关系（EI 的 r = 0.561），证实了匹配机制的价值。
• MBTI-S2Conv 数据集展现出高度多样性与一致性，包含 1,024 位具有独特人格与记忆档案的虚拟角色之间的 10,240 次对话。
• 动态记忆机制有效防止了记忆长度的爆炸式增长，同时保持了事实一致性与上下文相关性，尤其在长对话中表现优异。
• 人工评估证实，人际匹配显著影响用户体验，其中情绪改善（EI）与人格契合度的相关性最强。