[论文解读] Character-LLM: A Trainable Agent for Role-Playing

Yunfan Shao, Linyang Li+2 more|arXiv (Cornell University)|Oct 16, 2023

Topic Modeling被引用 4

一句话总结

本文提出 Character-LLM，一种可通过微调重建的、形式化个人经历与情感状态来模拟特定历史或虚构人物的可训练语言模型智能体。通过在精选传记数据上进行监督微调，并引入保护性经历以防止幻觉，该方法实现了高保真度的角色扮演，评估结果表明其在记忆保持和一致性方面优于基于提示的 LLM。

ABSTRACT

Large language models (LLMs) can be used to serve as agents to simulate human behaviors, given the powerful ability to understand human instructions and provide high-quality generated texts. Such ability stimulates us to wonder whether LLMs can simulate a person in a higher form than simple human behaviors. Therefore, we aim to train an agent with the profile, experience, and emotional states of a specific person instead of using limited prompts to instruct ChatGPT API. In this work, we introduce Character-LLM that teach LLMs to act as specific people such as Beethoven, Queen Cleopatra, Julius Caesar, etc. Our method focuses on editing profiles as experiences of a certain character and training models to be personal simulacra with these experiences. To assess the effectiveness of our approach, we build a test playground that interviews trained agents and evaluates whether the agents extit{memorize} their characters and experiences. Experimental results show interesting observations that help build future simulacra of humankind.

研究动机与目标

• 开发一种可训练的智能体，以一致的个性、情感状态和个人经历模拟特定角色，超越基于提示的角色扮演。
• 解决基于提示微调的 LLM 在维持角色一致性及记忆个人历史方面的局限性。
• 通过引入与角色已知知识范围一致的保护性经验，减少角色智能体中的幻觉。
• 通过新型基于访谈的评估框架，评估训练后智能体在角色扮演场景中的有效性。
• 提供一种可扩展的开源框架，用于使用 LLM 构建和测试角色模拟器。

提出的方法

• 经历重建：使用遵循指令的 LLM 从传记资料中提取结构化、类似闪回的场景，将贝多芬或克利奥帕特拉等人物的个人经历形式化。
• 监督微调（SFT）：使用 7B 参数的 LLaMA 模型在重建的经历场景上进行微调，以学习角色特定的行为、情感与记忆。
• 保护性经历：引入与角色相关的知识约束（例如，古代人物不了解现代科技），防止 LLM 产生不符合角色的虚构知识。
• 评估框架：使用新型基于访谈的测试平台评估智能体表现，通过 LLM 评估器测量角色记忆与一致性。
• 训练流程：结合资料整理、经历提取、SFT 微调与保护性经历注入，构建稳健的角色智能体。
• 开源发布：代码与数据集已公开发布于 https://github.com/choosewhatulike/trainable-agents，以支持可复现性与进一步扩展。

实验结果

研究问题

• RQ1 LLM 是否能通过有效微调，实现对特定历史或虚构人物在个性与情感状态上的一致模拟？
• RQ2 基于经历的微调与基于提示的提示方法相比，在角色扮演过程中如何更有效地维持角色保真度？
• RQ3 保护性经历在多大程度上能减轻角色智能体中的幻觉，特别是针对角色外知识的错误引用？
• RQ4 训练后的智能体在互动对话中对个人经历的保留与回忆能力如何？
• RQ5 当面对模糊或不符合角色的问题时，角色智能体的失败模式与局限性是什么？

主要发现

• Character-LLM 智能体成功记忆并一致地回忆起角色专属经历，如贝多芬严酷的成长背景，表明通过微调实现了有效个性化。
• 保护性经历的使用显著减少了幻觉——例如，防止古代人物提及现代科技，从而提升与角色约束的一致性。
• 评估结果表明，训练后的智能体在角色一致性与可信度方面优于 Alpaca 和 Vicuna 等指令微调的 LLM。
• 案例研究揭示了非平凡的失败模式，如智能体在面对模糊问题时表现困难，或在保护性经历不足时过度依赖世界知识。
• 该框架实现了高保真度的角色扮演，智能体展现出基于重建个人历史的连贯情感反应与叙事连贯性。
• 开源的代码与数据集为未来可训练、角色特定的 AI 智能体研究奠定了基础。