[论文解读] Estimating the Personality of White-Box Language Models

Saketh Reddy Karra, Son Nguyen+1 more|arXiv (Cornell University)|Apr 25, 2022

Mental Health via Writing被引用 12

一句话总结

本文提出一种方法，利用大五人格框架量化并修改白盒语言模型的人格特质。通过使用人格问卷刺激模型并采用零样本分类对响应进行分类，作者估计了人格特征，并通过微调证明这些特质可以被改变，尽管非目标特质也出现了意外变化。

ABSTRACT

Technology for open-ended language generation, a key application of artificial intelligence, has advanced to a great extent in recent years. Large-scale language models, which are trained on large corpora of text, are being used in a wide range of applications everywhere, from virtual assistants to conversational bots. While these language models output fluent text, existing research shows that these models can and do capture human biases. Many of these biases, especially those that could potentially cause harm, are being well-investigated. On the other hand, studies that infer and change human personality traits inherited by these models have been scarce or non-existent. Our work seeks to address this gap by exploring the personality traits of several large-scale language models designed for open-ended text generation and the datasets used for training them. We build on the popular Big Five factors and develop robust methods that quantify the personality traits of these models and their underlying datasets. In particular, we trigger the models with a questionnaire designed for personality assessment and subsequently classify the text responses into quantifiable traits using a Zero-shot classifier. Our estimation scheme sheds light on an important anthropomorphic element found in such AI models and can help stakeholders decide how they should be applied as well as how society could perceive them. Additionally, we examined approaches to alter these personalities, adding to our understanding of how AI models can be adapted to specific contexts.

研究动机与目标

• 使用大五人格框架，对大规模语言模型及其训练数据集的人格特质进行实证量化。
• 开发一种稳健的方法，通过基于提示的生成和零样本分类，估计语言模型的人格特征。
• 研究并探讨通过在人格标注数据集上微调，语言模型中的人格特质是否以及如何被修改。
• 评估微调对非目标人格维度产生的意外影响。
• 为设计更具可控性、伦理性和用户对齐的AI系统提供基础，使其具备定制化的人格特征。

提出的方法

• 使用标准化的大五人格问卷作为提示，触发语言模型生成开放式响应。
• 应用预训练的零样本分类器，自动将模型响应分类至大五人格特质类别。
• 对模型生成的文本和训练数据集均通过相同的零样本分类流程，以估计人格特征。
• 在经过特定人格特质标注的过滤数据集（如宜人性、外向性）上，对白盒语言模型（如GPT-2）进行微调。
• 使用定量指标和分布分析，评估微调前后人格分数的变化。
• 在微调中使用多个标签过滤阈值，以评估人格修改的敏感性和鲁棒性。

实验结果

研究问题

• RQ1 语言模型在多大程度上反映了其训练数据的人格特质？
• RQ2 能否通过生成响应的零样本分类，可靠地估计语言模型中的人格特质？
• RQ3 在人格标注数据集上进行微调，是否会导致模型人格的可测量且有针对性的改变？
• RQ4 在微调过程中，非目标人格维度是否会产生意外的副作用？
• RQ5 人格修改能否实现高精度，还是变化会扩散至多个特质？

主要发现

• 在过滤数据集上微调GPT-2后，宜人性、尽责性、情绪稳定性与开放性的人格分数显著改变，如表8所示。
• 在阈值为2.5时，微调后GPT-2的外向性中位数降至2.89，表明人格特征发生了可测量的转变。
• 人格变化并非孤立发生；即使仅针对单一特质进行微调，非目标特质如宜人性和尽责性也发生了变化。
• 如图9所示，微调后GPT-2模型的人格特质分布反映了新训练语料库的影响。
• 方法2（使用阈值化标签进行微调）在各特质上表现出一致但非均匀的变化，不同阈值下得分存在差异。
• 尽管结果具有前景，本研究仍识别出一个关键挑战：微调会导致多个性格维度的意外变化，限制了精确控制。