[论文解读] Cultural Bias and Cultural Alignment of Large Language Models

Yan Tao, Olga Viberg+2 more|arXiv (Cornell University)|Nov 23, 2023

Computational and Text Analysis Methods被引用 12

一句话总结

本研究通过将五种广泛使用的大型语言模型（LLMs）的输出与具有全国代表性的调查数据进行比较，评估文化偏见，并显示在较新的模型中，文化提示可以提高多数国家/地区的对齐程度。

ABSTRACT

Culture fundamentally shapes people's reasoning, behavior, and communication. As people increasingly use generative artificial intelligence (AI) to expedite and automate personal and professional tasks, cultural values embedded in AI models may bias people's authentic expression and contribute to the dominance of certain cultures. We conduct a disaggregated evaluation of cultural bias for five widely used large language models (OpenAI's GPT-4o/4-turbo/4/3.5-turbo/3) by comparing the models' responses to nationally representative survey data. All models exhibit cultural values resembling English-speaking and Protestant European countries. We test cultural prompting as a control strategy to increase cultural alignment for each country/territory. For recent models (GPT-4, 4-turbo, 4o), this improves the cultural alignment of the models' output for 71-81% of countries and territories. We suggest using cultural prompting and ongoing evaluation to reduce cultural bias in the output of generative AI.

研究动机与目标

• 激发对文化如何塑造LLM推理、交流与输出的理解。
• 将五种广泛使用的LLMs中的文化偏见与全国代表性调查数据进行量化比较。
• 评估一种控制策略——文化提示，以提升跨国家/地区的文化对齐。
• 提供关于减少生成式AI输出中的文化偏见的可操作性指南。

提出的方法

• 将评估按五种LLMs细分：GPT-4o、GPT-4-turbo、GPT-4、GPT-3.5-turbo、GPT-3。
• 将模型回答与全国代表性调查数据进行比较，以评估输出中反映的文化价值。
• 以文化提示作为一种控制策略，影响模型输出朝向目标文化规范。
• 通过提示前后按国家/地区衡量输出的文化对齐程度。
• 报告最近模型在各国家/地区的改进百分比（71-81%）。

实验结果

研究问题

• RQ1 流行的LLMs在多大程度上编码并反映来自英语国家和新教欧洲背景的文化价值观？
• RQ2 文化提示能否提升LLMs输出在多样国家/地区的文化对齐程度？
• RQ3 相较于早期的GPT-家族模型，近期模型的文化对齐如何变化？
• RQ4 在现代LLMs中，有多少比例的国家/地区在文化提示下显示出更高的对齐度？

主要发现

• 所有评估的模型都呈现出类似英语国家和新教欧洲国家的文化价值观。
• 文化提示在最近的模型（GPT-4、4-turbo、4o）中提升了71-81%的国家/地区的文化对齐。
• 文化提示可以成为减少LLM输出中文化偏见的有效控制策略。
• 该研究展示了对LLMs中文化偏见进行按国家/地区分解评估的可行性。