[论文解读] Do LLMs Possess a Personality? Making the MBTI Test an Amazing Evaluation for Large Language Models

Keyu Pan, Zeng YaWen|arXiv (Cornell University)|Jul 30, 2023

Topic Modeling被引用 6

一句话总结

本文通过应用迈尔斯-布里格斯类型指标（MBTI）作为评估框架，探究大型语言模型（LLMs）是否表现出类人性格特征。通过基于提示的测试和语料库分析，研究发现LLMs表现出由训练数据和微调所影响的一致MBTI类型，其中T/F和J/P维度可作为推理与规划能力的可靠代理指标——表明MBTI可作为LLMs性格评估的粗略但具信息量的指标。

ABSTRACT

The field of large language models (LLMs) has made significant progress, and their knowledge storage capacity is approaching that of human beings. Furthermore, advanced techniques, such as prompt learning and reinforcement learning, are being employed to address ethical concerns and hallucination problems associated with LLMs, bringing them closer to aligning with human values. This situation naturally raises the question of whether LLMs with human-like abilities possess a human-like personality? In this paper, we aim to investigate the feasibility of using the Myers-Briggs Type Indicator (MBTI), a widespread human personality assessment tool, as an evaluation metric for LLMs. Specifically, extensive experiments will be conducted to explore: 1) the personality types of different LLMs, 2) the possibility of changing the personality types by prompt engineering, and 3) How does the training dataset affect the model's personality. Although the MBTI is not a rigorous assessment, it can still reflect the similarity between LLMs and human personality. In practice, the MBTI has the potential to serve as a rough indicator. Our codes are available at https://github.com/HarderThenHarder/transformers_tasks/tree/main/LLM/llms_mbti.

研究动机与目标

• 通过MBTI作为诊断工具，探索大型语言模型（LLMs）是否表现出类人性格特征。
• 探究LLMs的MBTI性格类型是否可通过提示工程实现内在改变或可调制。
• 分析训练数据构成如何影响LLMs的MBTI类型。
• 评估将MBTI作为粗略但有意义的LLM性格评估指标的可行性。

提出的方法

• 通过标准化的基于问答提示的评估流程，将16种类型MBTI框架应用于LLMs。
• 使用显式和隐式提示，测试LLMs是否可被引导至不同MBTI类型。
• 在多样化语料库（如问答、考试数据集APE210k、数学数据集）上训练LLMs，以评估其对MBTI维度的影响。
• 通过统计分析模型在四个二分维度（E/I、S/N、T/F、J/P）上的响应，测量MBTI类型的转变。
• 采用指令微调和强化学习技术，评估其对性格对齐的影响。
• 分析模型在多次测试运行中对特质表达的一致性，以评估可靠性。

Figure 1: Personality Test of Human and LLMs. For example, INTJ individuals, as classified by the MBTI, are often regarded as masterminds who possess analytical and rigorous thinking abilities. In a similar vein, can LLMs with human-like capabilities exhibit human-like personalities?

实验结果

研究问题

• RQ1 不同LLMs是否具有独特的MBTI性格类型？
• RQ2 LLMs的MBTI类型是否可通过提示工程改变？
• RQ3 训练数据集的构成如何影响LLMs的MBTI类型？
• RQ4 MBTI测试能否作为LLM性格的合理（尽管非正式）评估指标？

主要发现

• LLMs表现出一致且可区分的MBTI类型，其中GPT-4被归类为INTJ，ChatGPT为ENTJ，反映出在领导力和分析特质上的感知差异。
• 未经指令微调的LLMs对MBTI类型改变具有抗性，但在微调后，显式和隐式提示均可成功改变其MBTI分类。
• 在考试语料库（如APE210k）上进行训练显著提升了模型的T值（思维型），例如Bloom7b的T值从13升至15，Llama的T值从9升至10。
• 语料类型对J/P（判断/知觉）维度有显著影响，GPT-4的J值高于ChatGPT，表明其具备更强的规划与结构化能力。
• MBTI的T/F与J/P维度与模型行为表现出强相关性——T值反映推理能力，J值反映任务分解与规划能力。
• 尽管MBTI缺乏科学严谨性，但T/F与J/P维度可作为评估LLMs认知与战略能力的实用且可解释的指标。

Figure 2: Specific scores for each dichotomy among different LLMs.