[论文解读] Do LLMs exhibit human-like response biases? A case study in survey design

Lindia Tjuatja, Valerie Chen+3 more|arXiv (Cornell University)|Nov 7, 2023

Psychology of Social Influence被引用 5

一句话总结

本研究通过对比大语言模型（LLMs）对诱发人类已知心理偏见的题目对的响应，调查了LLMs在问卷设计中是否表现出类似人类的响应偏见。基于涵盖九个LLM的定制化数据集，对偏见与非偏见扰动进行分析，作者发现LLMs通常无法复现人类的响应模式，尤其是经过RLHF微调的模型，其对实际偏见的敏感度降低，但对非偏见扰动的敏感度却显著提高。

ABSTRACT

As large language models (LLMs) become more capable, there is growing excitement about the possibility of using LLMs as proxies for humans in real-world tasks where subjective labels are desired, such as in surveys and opinion polling. One widely-cited barrier to the adoption of LLMs as proxies for humans in subjective tasks is their sensitivity to prompt wording - but interestingly, humans also display sensitivities to instruction changes in the form of response biases. We investigate the extent to which LLMs reflect human response biases, if at all. We look to survey design, where human response biases caused by changes in the wordings of "prompts" have been extensively explored in social psychology literature. Drawing from these works, we design a dataset and framework to evaluate whether LLMs exhibit human-like response biases in survey questionnaires. Our comprehensive evaluation of nine models shows that popular open and commercial LLMs generally fail to reflect human-like behavior, particularly in models that have undergone RLHF. Furthermore, even if a model shows a significant change in the same direction as humans, we find that they are sensitive to perturbations that do not elicit significant changes in humans. These results highlight the pitfalls of using LLMs as human proxies, and underscore the need for finer-grained characterizations of model behavior. Our code, dataset, and collected samples are available at https://github.com/lindiatjuatja/BiasMonkey

研究动机与目标

• 评估LLMs是否反映社会心理学中观察到的类似人类的响应偏见，特别是在问卷调查中。
• 评估模型架构与训练方案（尤其是RLHF）对LLM对问题措辞变化敏感度的影响。
• 将LLM对偏见诱导与非偏见扰动的响应，与已知的人类行为趋势进行对比。
• 挑战LLMs可作为调查与民意调查中人类参与者的可靠代理这一假设。

提出的方法

• 本研究构建了一组成对的问卷题目：一组诱发已知的人类响应偏见，另一组为非偏见扰动（如拼写错误、改写）。
• 九个LLM（包括开源的Llama2变体及GPT-3.5和GPT-4等商业模型）被提示输入这些题目对，以收集响应分布。
• 通过统计检验（如McNemar检验）量化响应分布的变化，以检测题目变体间响应分布的显著差异。
• 将模型行为与先前社会科学研究文献中确立的人类响应趋势进行对比，以评估其一致性。
• 在不同训练模式（如指令微调与RLHF微调）下评估模型，以分离训练方式对偏见敏感度的影响。
• 开发了一套系统框架，以评估LLM是否复现已知的人类响应偏见，或对非偏见变化产生非人性化反应。

实验结果

研究问题

• RQ1 当暴露于措辞微妙的问卷问题时，LLMs是否表现出与人类相同的响应偏见模式？
• RQ2 与原始模型或指令微调模型相比，RLHF微调如何影响LLM对偏见诱导问题修改的敏感度？
• RQ3 LLMs对非偏见扰动（如拼写错误、轻微改写）的敏感度是否与人类相当，还是会对这些变化过度反应？
• RQ4 模型规模或架构在多大程度上影响LLM复现类似人类响应偏见的可能性？
• RQ5 模型模仿人类意见分布的能力，是否与其反映实际人类响应偏见的能力相关？

主要发现

• 所有评估的LLMs均未能一致复现类似人类的响应偏见；许多模型在响应方向上与已知的人类趋势相反，出现显著响应偏移。
• 经过RLHF微调的模型对实际响应偏见的敏感度降低，但对非偏见扰动（如拼写错误或轻微改写）的敏感度更高。
• 原始响应不确定性较高的LLMs，对偏见诱导修改的响应变化不显著，而人类则相反。
• 模型复现人类意见分布的能力与反映真实人类响应偏见的能力之间，几乎没有相关性。
• 即使LLMs在响应方向上与人类一致，其响应幅度与一致性也常与人类行为模式不一致。
• 结果表明，RLHF可能无意中抑制了对有意义语言线索的自然敏感度，同时放大了噪声，从而削弱了其作为人类代理的实用性。