[论文解读] Large Language Models are Geographically Biased

Rohin Manvi, Samar Khanna+3 more|arXiv (Cornell University)|Feb 5, 2024

Computational and Text Analysis Methods被引用 13

一句话总结

该论文表明LLMs可以在零-shot地理预测中表现准确，但存在地理偏见，尤其对低社会经济区域在敏感主观话题上的偏见；它引入一个偏置度量并分析了模型之间的方差。

ABSTRACT

Large Language Models (LLMs) inherently carry the biases contained in their training corpora, which can lead to the perpetuation of societal harm. As the impact of these foundation models grows, understanding and evaluating their biases becomes crucial to achieving fairness and accuracy. We propose to study what LLMs know about the world we live in through the lens of geography. This approach is particularly powerful as there is ground truth for the numerous aspects of human life that are meaningfully projected onto geographic space such as culture, race, language, politics, and religion. We show various problematic geographic biases, which we define as systemic errors in geospatial predictions. Initially, we demonstrate that LLMs are capable of making accurate zero-shot geospatial predictions in the form of ratings that show strong monotonic correlation with ground truth (Spearman's $ρ$ of up to 0.89). We then show that LLMs exhibit common biases across a range of objective and subjective topics. In particular, LLMs are clearly biased against locations with lower socioeconomic conditions (e.g. most of Africa) on a variety of sensitive subjective topics such as attractiveness, morality, and intelligence (Spearman's $ρ$ of up to 0.70). Finally, we introduce a bias score to quantify this and find that there is significant variation in the magnitude of bias across existing LLMs. Code is available on the project website: https://rohinmanvi.github.io/GeoLLM

研究动机与目标

• 使用坐标作为地面实况对齐提示，展示LLMs的零-shot地理预测能力。
• 证明LLMs在客观主题和敏感主观话题上存在地理偏见。
• 用结合秩相关、评分离散度和模型回答率的指标来量化偏置大小。
• 比较多种流行LLMs（如 GPT-4 Turbo、GPT-3.5 Turbo、Gemini Pro、Mixtral、Llama 2）之间的偏置水平。

提出的方法

• 使用前缀加GeoLLM风格提示，对各种主题进行基于提示的零-shot地理位置相关评分的引出。
• 使用Spearman’s ρ衡量LLM评分与地理真实数据之间的单调一致性。
• 采用基于排序的分析和排序误差，在全球地图上可视化预测，以揭示系统性偏差。
• 定义偏置分数 B_y(x)，它将 Spearman’s ρ 乘以评分的 MAD 以及模型的回答率，以量化对敏感主观话题的偏置。
• 用如婴儿死亡率这样的分布来锚定偏置测量，将模型评分与社会经济代理相关联。
• 评估使用评分的期望值（logprobs）与最可能评分在零-shot预测中的增值。

Figure 1: The mean rank plots illustrate agreement across LLM predictions, with areas of green and red highlighting regions consistently rated higher or lower respectively. For objective topics, the maps demonstrate the zero-shot geographic knowledge of LLMs. The sensitive subjective topics reveal a

实验结果

研究问题

• RQ1 LLMs是否能够在一系列客观主题上进行准确的零-shot地理预测？
• RQ2 LLMs在客观主题和敏感主观话题上是否存在地理偏见，以及这些偏见在不同模型之间有何差异？
• RQ3 我们如何量化LLM输出在敏感主题上的地理偏见，以及哪些因素影响其大小？
• RQ4 不同的LLM是否表现出不同水平的地理偏见，且是否可以通过使用基于logprob的期望来降低偏见？
• RQ5 评分偏倚与社会经济条件代理（如婴儿死亡率）之间的关系是什么？

主要发现

• LLMs在零-shot预测中与地理真实数据呈现强烈的单调相关性，对于某些主题，Spearman’s ρ 高达 0.89。
• LLMs在客观主题上显示出一致的地理偏见，例如非洲和印度对人口密度存在低估，东南亚对婴儿死亡率/风险代理存在低估。
• 在敏感主观话题（如魅力、道德、智力）上，LLMs对社会经济条件较差地区存在偏见，与婴儿存活率的相关性高达0.70。
• 不同模型之间的偏置幅度差异显著；GPT-4 Turbo与Llama 2 70B相对偏见较小，而与某些模型（如Gemini Pro）相比尤其明显。
• 使用带有logprobs的评分期望值可提高预测性能，并能揭示最可能评分未能捕捉到的更微妙偏见。
• 提出的偏置分数 B_y(x) 结合秩相关、评分离散度（MAD）和回答率，以量化对敏感话题的地理偏置。

Figure 3: Zero-shot GPT-4 Turbo comparison with ground truth.