[论文解读] Evaluating and Inducing Personality in Pre-trained Language Models

Guangyuan Jiang, Manjie Xu+4 more|arXiv (Cornell University)|May 20, 2022

Topic Modeling被引用 41

一句话总结

本文引入 Machine Personality Inventory (MPI)，用以在大五人格维度上量化 LLM 的性格，并提出一种提示方法（P2）以诱导特定的人格，经由 MPI 与情境测试验证。

ABSTRACT

Standardized and quantified evaluation of machine behaviors is a crux of understanding LLMs. In this study, we draw inspiration from psychometric studies by leveraging human personality theory as a tool for studying machine behaviors. Originating as a philosophical quest for human behaviors, the study of personality delves into how individuals differ in thinking, feeling, and behaving. Toward building and understanding human-like social machines, we are motivated to ask: Can we assess machine behaviors by leveraging human psychometric tests in a principled and quantitative manner? If so, can we induce a specific personality in LLMs? To answer these questions, we introduce the Machine Personality Inventory (MPI) tool for studying machine behaviors; MPI follows standardized personality tests, built upon the Big Five Personality Factors (Big Five) theory and personality assessment inventories. By systematically evaluating LLMs with MPI, we provide the first piece of evidence demonstrating the efficacy of MPI in studying LLMs behaviors. We further devise a Personality Prompting (P^2) method to induce LLMs with specific personalities in a controllable way, capable of producing diverse and verifiable behaviors. We hope this work sheds light on future studies by adopting personality as the essential indicator for various downstream tasks, and could further motivate research into equally intriguing human-like machine behaviors.

研究动机与目标

• 以人类人格理论为基础，推动对机器行为的标准化、定量评估。
• 定义并部署 Machine Personality Inventory (MPI)，以测量 LLM 的大五人格特质。
• 证明对齐后的 LLM 显示出稳定的、类似人类的人格倾向。
• 提出并验证 Personality Prompting (P2) 以诱导特定的 LLM 人格。
• 探讨诱导的人格如何通过情境测试在量表任务之外泛化。

提出的方法

• 基于大五理论，使用 IPIP 派生条目构建 MPI；MPI 条目以多项选择题形式呈现。
• 在零-shot 问答设置下评估 LLM，以计算 OCEAN 分数及其标准差。
• 分析内部一致性（sigma），以评估 MPI 条目间的人格稳定性。
• 将 Personality Prompting (P2) 作为一种链式提示过程，将心理特征描述转换为关键字提示和自提示描述以诱导特质。
• 在 MPI 和情境测试中将 P2 与基线（Naive Prompting 与 Words Auto Prompting）进行比较。
• 使用包含人类参与者的情境测试，以评估诱导的人格的适用性与鲁棒性。

实验结果

研究问题

• RQ1 LLM 是否具备可以通过心理测量学测试量化的类似人格的特征？
• RQ2 是否可以以可控且可验证的方式在 LLMs 中诱导出特定的人格？
• RQ3 MPI 评估与 LLM 在结构化和现实场景中的行为相关性有多强？

主要发现

• MPI 证明某些 LLM（例如 GPT-3.5 175B 和 Alpaca 7B）在大五因素上的内部一致性达到人类水平。
• 对齐后的 LLM 在 OCEAN 分数上呈现的性格倾向接近人类数据中的分布。
• P2 成功诱导出特定的 OCEAN 画像，诱导分数优于中性基线，并且具有稳定性。
• 情境测试表明，P2 诱导的人格能被人类察觉并且在 MPI 任务之外具备泛化性。
• 在诱导目标人格特质方面，P2 的表现优于 Naive Prompting 与 Words Auto Prompting。