[论文解读] Assessing Cross-Cultural Alignment between ChatGPT and Human Societies: An Empirical Study

Yong Cao, Zhou Li+4 more|arXiv (Cornell University)|Mar 30, 2023

Text Readability and Simplification被引用 23

一句话总结

该研究使用 Hofstede 的文化维度来探测 ChatGPT 的文化一致性，结果是在美国文化上更强的一致性，并且英文提示会使回应偏向美国文化。

ABSTRACT

The recent release of ChatGPT has garnered widespread recognition for its exceptional ability to generate human-like responses in dialogue. Given its usage by users from various nations and its training on a vast multilingual corpus that incorporates diverse cultural and societal norms, it is crucial to evaluate its effectiveness in cultural adaptation. In this paper, we investigate the underlying cultural background of ChatGPT by analyzing its responses to questions designed to quantify human cultural differences. Our findings suggest that, when prompted with American context, ChatGPT exhibits a strong alignment with American culture, but it adapts less effectively to other cultural contexts. Furthermore, by using different prompts to probe the model, we show that English prompts reduce the variance in model responses, flattening out cultural differences and biasing them towards American culture. This study provides valuable insights into the cultural implications of ChatGPT and highlights the necessity of greater diversity and cultural awareness in language technologies.

研究动机与目标

• 评估 ChatGPT 的回答在使用 Hofstede 的六大文化维度时与多样化国家文化的一致性。
• 评估提示语言与结构如何影响文化一致性以及模型输出的变异性。
• 调查 ChatGPT 是否会适应美国以外的文化，并识别多语言提示中的潜在偏见。

提出的方法

• 采用 Hofstede Culture Survey 来定义六大文化维度（Power Distance, Individualism, Uncertainty Avoidance, Masculinity, Long-term Orientation, Indulgence）。
• 通过对 ChatGPT 进行每个维度的4题子集探测，使用预定义公式计算得分（S_i = lambda_i^0*(Q_i^0−Q_i^1) + lambda_i^1*(Q_i^2−Q_i^3) + C_i）。
• 使用三种提示变体（两种英文提示和一种目标语言提示）来评估语言对文化回应的影响。
• 将 Hofstede 问题从第二人称改为第三人称，并在提示前置以国家-文化背景（例如 For an average [country-person]）。
• 引入交互策略，包括有效知识注入、无效知识注入和反事实知识注入，以测试回应的一致性。）

Figure 1: The pipeline of our proposed probing framework and an example of distinct answers of ChatGPT by raising the same question in English and Chinese.

实验结果

研究问题

• RQ1 在 Hofstede 的维度下，ChatGPT 是否对美国文化的对齐强于其他文化？
• RQ2 ChatGPT 的文化对齐在不同语言和提示风格中如何变化？
• RQ3 文化探测提示是否能揭示 ChatGPT 文化适应中的偏见或局限？
• RQ4 知识注入策略对 ChatGPT 的文化回应稳定性有何影响？

主要发现

• 当提示为美国情境时，ChatGPT 对美国文化表现出更强的一致性。
• 在探测框架下，ChatGPT 对美国以外文化的适应性较差。
• 英文提示减少回应方差并使结果偏向美国文化，拉平了文化差异。
• 提示语言和提示策略影响文化对齐的程度和方向。
• 该研究强调语言技术需要在多样性和文化意识方面的提升。