[论文解读] How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions

Julia Kharchenko, Tanya Roosta+2 more|arXiv (Cornell University)|Jun 21, 2024

Cooperative Studies and Economics被引用 4

一句话总结

本文通过霍夫斯泰德文化维度框架，评估大型语言模型（LLMs）在不同国家间对文化价值观的表征能力。通过使用针对国家和语言的特定角色提示，研究发现尽管模型能部分区分文化价值观，但其建议往往无法与国家特定的文化价值观保持一致，暴露出需要针对性训练和检索增强生成技术改进的文化对齐缺口。

ABSTRACT

Large Language Models (LLMs) attempt to imitate human behavior by responding to humans in a way that pleases them, including by adhering to their values. However, humans come from diverse cultures with different values. It is critical to understand whether LLMs showcase different values to the user based on the stereotypical values of a user's known country. We prompt different LLMs with a series of advice requests based on 5 Hofstede Cultural Dimensions -- a quantifiable way of representing the values of a country. Throughout each prompt, we incorporate personas representing 36 different countries and, separately, languages predominantly tied to each country to analyze the consistency in the LLMs' cultural understanding. Through our analysis of the responses, we found that LLMs can differentiate between one side of a value and another, as well as understand that countries have differing values, but will not always uphold the values when giving advice, and fail to understand the need to answer differently based on different cultural values. Rooted in these findings, we present recommendations for training value-aligned and culturally sensitive LLMs. More importantly, the methodology and the framework developed here can help further understand and mitigate culture and language alignment issues with LLMs.

研究动机与目标

• 评估LLMs是否能够识别并根据霍夫斯泰德文化维度定义的国家特定文化价值观调整其建议。
• 探究LLMs是否能将语言与文化语境关联，并据此回应文化规范。
• 识别可能源于训练数据主导性或刻板印象关联而非真实文化理解的LLM响应偏见。
• 开发一种可重复、标准化的框架，用于评估和缓解LLMs中的文化对齐问题。
• 通过确保LLMs尊重多元文化价值观而不强化刻板印象，推动多元文化对齐。

提出的方法

• 本研究采用提示工程框架，通过嵌入代表36个国家及其关联语言的角色，以激发LLMs生成建议响应。
• 每个提示围绕霍夫斯泰德的五个文化维度之一——权力距离、个人主义、男性化、不确定性规避和长期导向——设计，采用平衡的二元问题形式。
• 通过目标国家的文化维度得分评估响应的一致性，重点关注理由的质量和文化具体性。
• 该方法包括对手动审核提示以确保与霍夫斯泰德价值观一致，最大限度减少研究者偏见。
• 提出检索增强生成（RAG）方法，通过将响应建立在文化相关知识基础上，以提升文化对齐性。
• 该框架实现了在多样化语言和文化背景下，对文化敏感性的系统化、可验证和可重复评估。

实验结果

研究问题

• RQ1 LLMs在多大程度上理解并反映不同国家的霍夫斯泰德文化维度？
• RQ2 LLMs在多大程度上能够调整其建议以与国家特定的文化价值观保持一致？
• RQ3 LLMs在多大程度上能将特定语言与文化语境关联并据此作出响应？
• RQ4 LLMs在生成建议时是否依赖刻板印象，还是展现出真正的文化理解？
• RQ5 检索增强生成能否改善LLM响应中的文化对齐性？

主要发现

• LLMs能够区分文化维度对立面，如个人主义与集体主义，表明其对文化对比具备一定意识。
• 尽管识别出文化差异，LLMs在将建议与目标国家的文化维度特征保持一致方面往往表现不一致。
• 当仅使用语言提示时，LLMs的响应表现出不一致性，表明其语言到文化的映射关系较弱或不可靠。
• 响应的解释理由通常缺乏文化依据，更多依赖通用或普适性原则，而非国家特定的推理。
• 研究发现存在文化价值观对齐的根本性缺口，LLMs可能反映主导数据偏见而非真实的文化理解。
• 所提出的框架能够检测文化对齐失败，并为实现更透明、可引用和文化敏感的LLM响应提供路径。