[论文解读] Can ChatGPT Assess Human Personalities? A General Evaluation Framework

Haocong Rao, Cyril Leung+1 more|arXiv (Cornell University)|Mar 1, 2023

Topic Modeling被引用 6

一句话总结

本文提出了一种通用评估框架，使大型语言模型（如ChatGPT）能够利用MBTI测试评估人类个性。通过采用无偏见提示、主体替换查询以及基于正确性评估的指令，该框架确保了个性评估的一致性、公平性与灵活性。实验表明，尽管对提示偏见的鲁棒性较低，ChatGPT在一致性和公平性方面优于InstructGPT。

ABSTRACT

Large Language Models (LLMs) especially ChatGPT have produced impressive results in various areas, but their potential human-like psychology is still largely unexplored. Existing works study the virtual personalities of LLMs but rarely explore the possibility of analyzing human personalities via LLMs. This paper presents a generic evaluation framework for LLMs to assess human personalities based on Myers Briggs Type Indicator (MBTI) tests. Specifically, we first devise unbiased prompts by randomly permuting options in MBTI questions and adopt the average testing result to encourage more impartial answer generation. Then, we propose to replace the subject in question statements to enable flexible queries and assessments on different subjects from LLMs. Finally, we re-formulate the question instructions in a manner of correctness evaluation to facilitate LLMs to generate clearer responses. The proposed framework enables LLMs to flexibly assess personalities of different groups of people. We further propose three evaluation metrics to measure the consistency, robustness, and fairness of assessment results from state-of-the-art LLMs including ChatGPT and GPT-4. Our experiments reveal ChatGPT's ability to assess human personalities, and the average results demonstrate that it can achieve more consistent and fairer assessments in spite of lower robustness against prompt biases compared with InstructGPT.

研究动机与目标

• 探究大型语言模型（LLMs）是否能够评估人类个性，这一能力在很大程度上尚未被探索。
• 开发一种通用、灵活且可靠的评估框架，使LLMs能够使用MBTI进行定量个性评估。
• 衡量LLM生成的个性评估在不同主体和提示变化下的稳定性、鲁棒性与公平性。
• 揭示LLM个性评估中潜在的偏见，为构建更安全、更可信的AI系统提供依据。

提出的方法

• 通过随机打乱MBTI问题中的选项顺序并取平均结果，设计无偏见提示，以减少响应偏见。
• 通过将MBTI陈述中的主体替换为其他个体或群体，实现主体替换查询，从而实现对不同个体或群体的灵活评估。
• 重新表述问题指令，聚焦于正确性评估，促使LLM生成更清晰、更易于分析的响应。
• 提出三项评估指标：一致性（评估结果的可重复性）、鲁棒性（对提示扰动的敏感度）以及公平性（在不同性别群体中的均等对待）。
• 在标准化测试条件下，将该框架应用于评估最先进的LLMs，包括ChatGPT、GPT-4和InstructGPT。
• 采用MBTI作为代表性个性框架，以实现跨模型的定量评估与比较。

实验结果

研究问题

• RQ1 LLM（如ChatGPT）能否可靠地利用标准化心理学框架（如MBTI）评估人类个性？
• RQ2 在个性评估中，不同LLM在一致性、鲁棒性与公平性方面表现如何？
• RQ3 提示变化与主体替换在多大程度上影响LLM生成的个性评估的可靠性与公正性？
• RQ4 所提出的框架能否检测并缓解LLM个性评估中的偏见，特别是涉及性别化主体时？

主要发现

• ChatGPT在个性评估中表现出强大的一致性和公平性，尽管对提示扰动的鲁棒性较低，但其在这些指标上仍优于InstructGPT。
• 在多次运行中，ChatGPT与GPT-4的平均评估结果表现出高度一致性，表明其个性推断行为稳定。
• 主体替换查询实现了对多样化个体或人口群体的灵活且可扩展的个性评估，无需重新训练。
• 基于正确性评估的指令显著提升了LLM生成评估结果的清晰度与分析连贯性。
• 该框架成功识别出LLM中潜在的偏见，特别是在涉及性别化主体的评估中，凸显了刻板印象的风险。
• 实验结果证实，LLM能够执行有意义的个性评估，表明其具备类人心理推理与感知能力。