[论文解读] InCharacter: Evaluating Personality Fidelity in Role-Playing Agents through Psychological Interviews

Xintao Wang, Xiao, Yunze+11 more|arXiv (Cornell University)|Oct 27, 2023

Topic Modeling被引用 5

一句话总结

本文提出 InCharacter，一种新颖的方法，通过使用标准化人格量表进行心理访谈来评估角色扮演智能体（RPAs）的人格一致性，而非依赖自我报告评估。该方法在32个角色和14种心理量表上，实现了高达80.7%的准确率，将RPA人格与人类感知的角色特征对齐。

ABSTRACT

Role-playing agents (RPAs), powered by large language models, have emerged as a flourishing field of applications. However, a key challenge lies in assessing whether RPAs accurately reproduce the personas of target characters, namely their character fidelity. Existing methods mainly focus on the knowledge and linguistic patterns of characters. This paper, instead, introduces a novel perspective to evaluate the personality fidelity of RPAs with psychological scales. Overcoming drawbacks of previous self-report assessments on RPAs, we propose InCharacter, namely Interviewing Character agents for personality tests. Experiments include various types of RPAs and LLMs, covering 32 distinct characters on 14 widely used psychological scales. The results validate the effectiveness of InCharacter in measuring RPA personalities. Then, with InCharacter, we show that state-of-the-art RPAs exhibit personalities highly aligned with the human-perceived personalities of the characters, achieving an accuracy up to 80.7%.

研究动机与目标

• 为解决现有方法在评估角色扮演智能体（RPAs）人格一致性方面的不足，这些方法更关注知识和语言复刻而非人格一致性。
• 通过引入基于访谈的评估框架，克服自我报告评估的局限性，如指令冲突和反应偏差。
• 开发一种可扩展的、类专家的评估协议，模拟人类心理学家通过引导性对话评估人格的方式。
• 利用14种广泛使用的人格量表（包括BFI、16P和DTDD）创建RPA人格评估基准，为18个角色提供人工标注标签。
• 证明最先进RPA展现出与目标角色人类感知高度一致的人格特征。

提出的方法

• InCharacter 采用两阶段流程：(1) 访谈 —— 通过源自心理量表的开放性问题，引导RPA输出行为、认知和情感反应。
• 第二阶段，大型语言模型（LLMs）通过将RPA回应分配至李克特量表等级，或模拟精神科医生的判断，推断人格特征。
• 该方法使用标准化心理量表，如大五人格问卷（BFI）、16Personalities（16P）和黑暗三联征十二题（DTDD），问题设计用于探测核心人格维度。
• BFI和16P的人格标签来自人格数据库（PDb），其他量表的标签由熟悉角色的人工标注者提供，以确保准确性。
• 该方法避免使用与角色扮演冲突的自我报告指令，而是将人格评估嵌入RPA的叙事和角色一致行为中。
• 评估在32个不同角色和14种量表上进行，通过基于LLM的解释和人工标注的真实标签进行双重验证。

实验结果

研究问题

• RQ1 InCharacter在多大程度上能通过基于访谈的心理评估准确测量角色扮演智能体的人格特征？
• RQ2 最先进RPA的人格一致性与同一角色的人类感知人格特征相比如何？
• RQ3 基于访谈的方法在评估RPA人格一致性方面，相较于传统自我报告方法有何优势？
• RQ4 通过类专家的解释方式评估时，RPA的回应与既定心理量表的一致性如何？
• RQ5 InCharacter能否在多样化角色类型和心理框架中实现泛化？

主要发现

• InCharacter 成功实现了与人类感知角色特征高度一致的RPA人格一致性测量，32个角色中最高准确率达80.7%。
• 与自我报告评估相比，该方法表现更优，后者常因指令冲突和反应偏差导致误导性结果。
• 最先进RPA展现出与人工标注标签高度一致的人格特征，表明其具有极强的人格一致性。
• 利用LLM以类访谈格式解释RPA回应，可产生比自我报告方法更细致、更基于行为的人格评估。
• 该基准包含14种心理量表及18个角色的人工标注标签，可实现RPA人格一致性评估的可靠与可重复性。
• 结果验证了基于心理访谈的评估方法在评估RPA心智模式和行为模式方面更具鲁棒性和代表性。