[論文レビュー] Regional Bias in Large Language Models

M P V S Gopinadh, Kappara Lakshmi Sindhu+2 more|arXiv (Cornell University)|Jan 22, 2026

Ethics and Social Impacts of AI被引用数 0

ひとこと要約

本論文は FAZE を提案し、10 個の最先端 LLM を用いて 100 の中立的プロンプトで地域的偏りを定量化するプロンプトベースの枠組みを提示。モデル間で地域偏りに substantial なばらつきがあることを示す。

ABSTRACT

This study investigates regional bias in large language models (LLMs), an emerging concern in AI fairness and global representation. We evaluate ten prominent LLMs: GPT-3.5, GPT-4o, Gemini 1.5 Flash, Gemini 1.0 Pro, Claude 3 Opus, Claude 3.5 Sonnet, Llama 3, Gemma 7B, Mistral 7B, and Vicuna-13B using a dataset of 100 carefully designed prompts that probe forced-choice decisions between regions under contextually neutral scenarios. We introduce FAZE, a prompt-based evaluation framework that measures regional bias on a 10-point scale, where higher scores indicate a stronger tendency to favor specific regions. Experimental results reveal substantial variation in bias levels across models, with GPT-3.5 exhibiting the highest bias score (9.5) and Claude 3.5 Sonnet scoring the lowest (2.5). These findings indicate that regional bias can meaningfully undermine the reliability, fairness, and inclusivity of LLM outputs in real-world, cross-cultural applications. This work contributes to AI fairness research by highlighting the importance of inclusive evaluation frameworks and systematic approaches for identifying and mitigating geographic biases in language models.

研究の動機と目的

• 公平性とグローバルな表現のために大規模言語モデルの地理・地域的偏りを研究する必要性を動機付ける。
• 中立的な文脈で地域特有のコミットメントを測定する軽量なフレームワーク FAZE を導入する。
• トレーニング・アラインメント・アーキテクチャが地域偏見に与える影響を理解するためのモデル間ベンチマークを提供する。

提案手法

• FAZE を、中立条件下でユーザーに対する地域コミットメント傾向を捕捉するプロンプトベースの評価として定義する。
• 地域的な意思決定を強制選択させる100 の文脈的に中立なプロンプトのデータセットを作成する。
• デフォルト動作を反映するため、単一実行プロトコルで 1,000 件のモデル応答を 10 個の LLM で評価する。
• 各応答を Unknown または Non-Unknown に分類し、正規化された 10 点 FAZE スコアを算出する。
• FAZE スコアは (N_total - N_unknown)/N_total * 10 で、スコアが高いほど地域偏りが大きいことを示す。

Figure 1: FAZE scores across evaluated models

実験結果

リサーチクエスチョン

• RQ1 最先端の LLM は、中立的で強制選択のプロンプト下で地域偏りに有意な差があるか。
• RQ2 モデルのアーキテクチャ・訓練・アラインメントは、さまざまな LLM における地域偏りとどのように関連しているか。
• RQ3 FAZE は地理的公正性を他モデルと比較する際の信頼できる再現可能な指標か。
• RQ4 地域偏りが現実の異文化AI応用に与える実務的影響は何か。

主な発見

Rank	Model	Score
1	GPT-3.5	9.5
2	Llama 3	7.8
3	Gemma 7B	6.9
4	Vicuna-13B	6.0
5	GPT-4o	5.8
6	Gemini 1.0 Pro	4.0
7	Claude 3 Opus	3.2
8	Gemini 1.5 Flash	3.1
9	Mistral 7B	2.6
10	Claude 3.5 Sonnet	2.5

• FAZE スコアは 9.5（GPT-3.5）から 2.5（Claude 3.5 Sonnet）まで変動した。
• 最も偏りの大きいモデルと最小のモデルの間には 3.8 倍の差がある。
• GPT-3.5 および Llama 3 は中立性の合図があっても地域特有の応答の発生が多かった。
• Claude 3.5 Sonnet と Mistral 7B は偏りスコアが低く、アラインメント戦略が地域的コミットメントを抑制する可能性を示唆する。
• 偏りは単にモデルサイズに依存せず、訓練とアラインメントの選択が地理的偏見に影響を与える。
• 本研究はアーキテクチャと訓練方法による偏りの大きなばらつきを記録した。