[논문 리뷰] Large Language Models are Geographically Biased

Rohin Manvi, Samar Khanna외 3명|arXiv (Cornell University)|2024. 02. 05.

Computational and Text Analysis Methods인용 수 13

한 줄 요약

본 논문은 LLMs가 정확한 제로샷 지리공간 예측을 수행할 수 있음을 보여주지만, 특히 사회경제적 지표가 낮은 지역에 대한 편향을 나타내는 지리적 편향이 존재함을 제시한다. 또한 편향 지표를 도입하고 모델 간 분산을 분석한다.

ABSTRACT

Large Language Models (LLMs) inherently carry the biases contained in their training corpora, which can lead to the perpetuation of societal harm. As the impact of these foundation models grows, understanding and evaluating their biases becomes crucial to achieving fairness and accuracy. We propose to study what LLMs know about the world we live in through the lens of geography. This approach is particularly powerful as there is ground truth for the numerous aspects of human life that are meaningfully projected onto geographic space such as culture, race, language, politics, and religion. We show various problematic geographic biases, which we define as systemic errors in geospatial predictions. Initially, we demonstrate that LLMs are capable of making accurate zero-shot geospatial predictions in the form of ratings that show strong monotonic correlation with ground truth (Spearman's $ρ$ of up to 0.89). We then show that LLMs exhibit common biases across a range of objective and subjective topics. In particular, LLMs are clearly biased against locations with lower socioeconomic conditions (e.g. most of Africa) on a variety of sensitive subjective topics such as attractiveness, morality, and intelligence (Spearman's $ρ$ of up to 0.70). Finally, we introduce a bias score to quantify this and find that there is significant variation in the magnitude of bias across existing LLMs. Code is available on the project website: https://rohinmanvi.github.io/GeoLLM

연구 동기 및 목표

• 좌표를 기준-정답 정렬 프롬프트로 사용하여 LLMs의 제로샷 지리공간 예측 능력을 시연한다.
• LLMs가 객관적 주제와 민감한 주관적 주제 전반에 걸쳐 지리적 편향을 보인다는 점을 보인다.
• 랭크 상관관계, 평가 분산, 응답 비율을 모델 간에 결합한 지표로 편향 크기를 정량화한다.
• 다수의 인기 LLMs(GPT-4 Turbo, GPT-3.5 Turbo, Gemini Pro, Mixtral, Llama 2 등) 간 편향 수준을 비교한다.

제안 방법

• 프리픽스와 GeoLLM 스타일 프롬프트를 사용하여 다양한 주제에 대한 위치별 평점의 프롬프트 기반 제로샷 도출.
• LLM 평가와 실제 지리공간 데이터 간의 단조로운 정렬을 측정하기 위해 Spearman’s ρ를 사용한다.
• 랭크 기반 분석과 랭크 오차를 사용하여 전 세계 지도에서 예측을 시각화하고 체계적인 편향을 드러낸다.
• 민감한 주관적 주제에 대한 편향을 정량화하기 위해 Spearman’s ρ에 평가 분산 MAD와 모델의 응답률을 곱한 편향 점수 B_y(x)를 정의한다.
• Infant Mortality와 같은 분포를 사용해 편향 측정을 고정하고 모델의 평가를 사회경제적 대리 지표와 관련시킨다.
• 제로샷 예측에서 가장 가능성이 높은 평가보다 평가의 기대값(logprobs)을 사용하는 것이 추가가치를 제공하는지 평가한다.

Figure 1: The mean rank plots illustrate agreement across LLM predictions, with areas of green and red highlighting regions consistently rated higher or lower respectively. For objective topics, the maps demonstrate the zero-shot geographic knowledge of LLMs. The sensitive subjective topics reveal a

실험 결과

연구 질문

• RQ1 LLMs가 객관적 주제의 다양한 범위에서 정확한 제로샷 지리공간 예측을 수행할 수 있는가?
• RQ2 LLMs가 객관적 주제와 민감한 주관적 주제 전반에 걸쳐 지리적 편향을 보이는가, 그리고 이러한 편향은 모델 간에 어떻게 달라지는가?
• RQ3 민감한 주제에 대한 LLM 출력의 지리적 편향을 어떻게 정량화할 수 있으며, 어떤 요인이 그 크기에 영향을 미치는가?
• RQ4 다양한 LLM이 서로 다른 수준의 지리적 편향을 보이는가, 로그 확률(logprob) 기반 기대치를 사용하면 편향을 줄일 수 있는가?
• RQ5 평점 편향과 사회경제적 조건의 대리 지표(예: 영아 사망률) 간의 관계는 무엇인가?

주요 결과

• 제로샷 예측에서 LLMs는 실제 지리공간 데이터와의 단조로운 상관관계가 강하게 나타나며, 일부 주제에서 Spearman’s ρ가 최대 0.89에 이른다.
• LLMs는 객관적 주제에서 아프리카와 인도 등 지역이 인구 밀도 추정치를 과소평가하고, 동남아시아가 영아 사망률/위험 대리 지표를 과소평가하는 등 지리적 편향을 일관되게 보인다.
• 민감한 주관적 주제(예: 매력도, 도덕성, 지능)에서 저소득 사회경제적 조건 지역에 대해 편향을 보이며, 영아 생존율과의 상관관계가 최대 0.70까지 도달한다.
• 다양한 모델 간 편향 크기에 차이가 크며, GPT-4 Turbo와 Llama 2 70B가 Gemini Pro 등 일부에 비해 상대적으로 편향이 적은 편이다.
• 평가의 기대값(logprobs)을 사용하면 예측 성능이 향상되고, 가장 가능성 높은 평가에서는 포착되지 않는 더 미묘한 편향을 드러낼 수 있다.
• 제안된 편향 점수 B_y(x)는 순위 상관관계, 평가 분산(MAD), 응답 비율을 결합하여 민감한 주제의 지리적 편향을 정량화한다.

Figure 3: Zero-shot GPT-4 Turbo comparison with ground truth.