[论文解读] CharacterGLM: Customizing Chinese Conversational AI Characters with Large Language Models

Jinfeng Zhou, Zhuang Chen+15 more|arXiv (Cornell University)|Nov 28, 2023

Topic Modeling被引用 4

一句话总结

CharacterGLM 引入了一类基于 ChatGLM 构建的中文对话式人工智能模型（参数量从 6B 到 66B 不等），通过配置角色属性与行为，实现可定制的、以人物为中心的对话。该模型在一致性、拟人度和互动性方面优于主流闭源模型如 GPT-3.5，尤其在长轮次对话中表现更优，并已向社区发布其 6B 版本及训练数据。

ABSTRACT

In this paper, we present CharacterGLM, a series of models built upon ChatGLM, with model sizes ranging from 6B to 66B parameters. Our CharacterGLM is designed for generating Character-based Dialogues (CharacterDial), which aims to equip a conversational AI system with character customization for satisfying people's inherent social desires and emotional needs. On top of CharacterGLM, we can customize various AI characters or social agents by configuring their attributes (identities, interests, viewpoints, experiences, achievements, social relationships, etc.) and behaviors (linguistic features, emotional expressions, interaction patterns, etc.). Our model outperforms most mainstream close-source large langauge models, including the GPT series, especially in terms of consistency, human-likeness, and engagement according to manual evaluations. We will release our 6B version of CharacterGLM and a subset of training data to facilitate further research development in the direction of character-based dialogue generation.

研究动机与目标

• 为解决现有大语言模型在社交互动中长期一致性与情感深度不足的问题。
• 通过可配置的属性（身份、兴趣、观点）与行为（语言风格、情感表达）实现对 AI 角色的细粒度定制。
• 构建一个支持持续、富有吸引力且类人多轮对话的个性化 AI 角色系统。
• 克服提示微调与基于角色的对话在捕捉复杂、多维角色个性方面的局限性。
• 发布一个面向社区的 6B 参数模型及其训练数据，以推动基于角色对话系统的研究。

提出的方法

• 基于 ChatGLM 微调一系列参数量从 6B 到 66B 的大语言模型，以支持基于角色的对话（CharacterDial）。
• 设计结构化角色档案系统，编码身份、兴趣、经历、成就及社会关系等角色属性。
• 通过语言特征、情感表达模式与互动风格实现行为控制，集成于响应生成过程中。
• 构建大规模、多样化的多轮对话数据集，其中角色带有档案标注，用于模型训练。
• 应用指令微调与偏好优化技术，使模型输出与期望的角色行为及用户参与度对齐。
• 通过 10 名标注员的人工评估，将 CharacterGLM 与 GPT-3.5 及 MiniMax 在一致性、拟人度与互动性方面进行对比。

Figure 1 : Examples of multi-turn character-based dialogue (CharacterDial) between characters customized by CharacterGLM and users. CharacterDial allows users to converse with personalized characters by configuring their profiles.

实验结果

研究问题

• RQ1 与主流闭源模型相比，微调后的 LLM 家族是否能在长轮次、基于角色的对话中实现更优的一致性与互动性？
• RQ2 基于档案的定制化在长对话中是否能有效维持连贯且独特的角色声音？
• RQ3 可配置的属性与行为模式在多大程度上提升了 AI 生成回复的拟人度与情感真实性？
• RQ4 尽管人类偏好更长回复，该模型在生成较短回复时是否仍能保持性能？
• RQ5 公开发布的 6B 参数版本模型能否作为未来基于角色对话研究的有力基线？

主要发现

• CharacterGLM-66B 在一致性、拟人度与互动性三个评估维度上均优于 GPT-3.5，10 名标注员的综合偏好评分平均高出 5%。
• 尽管人类普遍偏好更长回复，该模型在生成较短回复时仍保持强劲性能，表明其对输出长度变化具有鲁棒性。
• 在成对比较中，CharacterGLM-66B 在一致性方面赢得 49% 的比较，拟人度为 48%，互动性为 49%，综合偏好净优势达 +5%。
• 已发布 CharacterGLM 的 6B 版本及部分训练数据，以支持开放研究与基于角色对话的模型微调。
• MiniMax 平均生成更长回复，但 CharacterGLM-66B 仍取得相当或更优的偏好评分，表明其单位 token 生成质量极高。
• 本研究识别出长期记忆、自我意识、角色间社会互动以及认知过程建模是未来 AI 角色发展中的关键挑战。

(a) Pair-wise comparison results of CharacterGLM over GPT-3.5 in consistency, human-likeness, and engagement.