[논문 리뷰] Regional Bias in Large Language Models

M P V S Gopinadh, Kappara Lakshmi Sindhu외 2명|arXiv (Cornell University)|2026. 01. 22.

Ethics and Social Impacts of AI인용 수 0

한 줄 요약

본 연구는 FAZE를 소개한다. 이는 100개의 중립 프롬프트를 사용하여 최첨단 LLM 10종의 지역(지리적) 편향을 프롬_PROMPT 기반으로 정량화하는 프레임워크로, 모델 간 지역 편향에 상당한 차이가 있음을 밝혀낸다.

ABSTRACT

This study investigates regional bias in large language models (LLMs), an emerging concern in AI fairness and global representation. We evaluate ten prominent LLMs: GPT-3.5, GPT-4o, Gemini 1.5 Flash, Gemini 1.0 Pro, Claude 3 Opus, Claude 3.5 Sonnet, Llama 3, Gemma 7B, Mistral 7B, and Vicuna-13B using a dataset of 100 carefully designed prompts that probe forced-choice decisions between regions under contextually neutral scenarios. We introduce FAZE, a prompt-based evaluation framework that measures regional bias on a 10-point scale, where higher scores indicate a stronger tendency to favor specific regions. Experimental results reveal substantial variation in bias levels across models, with GPT-3.5 exhibiting the highest bias score (9.5) and Claude 3.5 Sonnet scoring the lowest (2.5). These findings indicate that regional bias can meaningfully undermine the reliability, fairness, and inclusivity of LLM outputs in real-world, cross-cultural applications. This work contributes to AI fairness research by highlighting the importance of inclusive evaluation frameworks and systematic approaches for identifying and mitigating geographic biases in language models.

연구 동기 및 목표

• 대형 언어 모델의 공정성과 글로벌 표현을 위해 지리/지역 편향을 연구할 필요성을 제시한다.
• 중립 맥락에서 지역별 약속(Commitment)을 측정하는 가벼운 프레임워크인 FAZE를 소개한다.
• 다양한 모델 간 벤치마킹을 통해 학습, 정렬, 구조가 지역 편향에 어떤 영향을 미치는지 이해한다.

제안 방법

• FAZE를 중립 조건에서 사용자-대면 지역 약속 경향을 포착하는 프롬프트 기반 평가로 정의한다.
• 강제 선택 지역 결정에 대한 맥락상 중립한 100개의 프롬프트로 구성된 데이터셋을 구축한다.
• 단일 실행 프로토콜을 사용해 1,000개의 모델 응답을 평가하여 기본 동작을 반영한다.
• 각 응답을 Unknown 또는 Non-Unknown으로 분류하여 표준화된 10점 FAZE 점수를 계산한다.
• FAZE 점수는 (N_total - N_unknown)/N_total * 10으로 계산되며, 점수가 높을수록 지역 편향이 더 강하다는 것을 의미한다.

Figure 1: FAZE scores across evaluated models

실험 결과

연구 질문

• RQ1 최신 LLM이 중립적이고 강제 선택 프롬프트에서 평가될 때 지역 편향에 유의미한 차이가 있는가?
• RQ2 모델 아키텍처, 학습 및 정렬이 다양한 LLM에서 관찰된 지역 편향과 어떤 관계가 있는가?
• RQ3 FAZE가 모델 간 지리적 공정성을 벤치마킹하는 신뢰할 수 있고 재현 가능한 지표인가?
• RQ4 지역 편향이 실제 다문화 AI 응용에 미치는 실용적 시사점은 무엇인가?

주요 결과

Rank	Model	Score
1	GPT-3.5	9.5
2	Llama 3	7.8
3	Gemma 7B	6.9
4	Vicuna-13B	6.0
5	GPT-4o	5.8
6	Gemini 1.0 Pro	4.0
7	Claude 3 Opus	3.2
8	Gemini 1.5 Flash	3.1
9	Mistral 7B	2.6
10	Claude 3.5 Sonnet	2.5

• FAZE 점수는 GPT-3.5에서 9.5, Claude 3.5 Sonnet에서 2.5로 다양했다.
• 가장 편향된 모델과 가장 편향되지 않은 모델 사이에 지역 편향 차이가 3.8배에 달한다.
• GPT-3.5 및 Llama 3는 중립 신호에도 지역별 응답이 빈번하게 나타났다.
• Claude 3.5 Sonnet 및 Mistral 7B는 편향 점수가 낮아 정렬 전략이 지역 약속을 줄일 수 있음을 시사한다.
• 편향은 모델 규모에만 의존하지 않으며, 학습 및 정렬 선택이 지리적 편향에 영향을 준다.
• 연구는 아키텍처 및 학습 체계 간 편향에서 substantial variation을 문서화한다.