[論文レビュー] Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge

Lin Shi, Weicheng Ma+4 more|arXiv (Cornell University)|Jun 12, 2024

Legal Education and Practice Innovations被引用数 4

ひとこと要約

この論文は、LLM-as-a-Judgeシステムにおける位置バイアスを体系的かつ包括的に調査している。モデルが応答の順序に基づいて好む傾向を示すが、品質ではなく、順序に依存して判断を行う。9体のジャッジモデルを用いた22のタスクで位置バイアスの指標（位置的一致性、公平性など）を測定したフレームワークを用い、顕著なバイアスのばらつきが確認された。GPT-4は高い一貫性と公平性を示したが、GPT-3.5のような低コストモデルも一部のタスクでは同程度の性能を示し、コスト、一貫性、公平性のトレードオフが顕在化した。

ABSTRACT

LLM-as-a-Judge has emerged as a promising alternative to human evaluators across various tasks, yet inherent biases - particularly position bias, the tendency to favor solutions based on their position within the prompt - compromise its reliability. This exploratory study evaluates position bias in LLM judges across pairwise and list-wise comparison settings, introducing three metrics: repetition stability, position consistency, and preference fairness. Our experiments, involving 15 LLM judges across MTBench and DevBench with 22 tasks and approximately 40 solution-generating models, result in over 150,000 evaluation instances. We identify Judge-Level, Candidate-Level, and Task-Level factors contributing to bias. The findings confirm that position bias is not due to random chance and varies significantly across judges and tasks. While position bias is weakly influenced by the length of prompt components, it is strongly affected by the quality gap between solutions. Our agreement and disagreement analysis among judges further provides insights into the distribution of judging difficulty across the dataset, and highlights the potential for dataset modifications.

研究の動機と目的

• LLM-as-a-Judgeシステムにおける位置バイアスを調査・定量すること。ここでは、モデルの判断がプロンプト内の応答の順序に基づいて系統的に好まれる傾向がある。
• 繰返しの一貫性、位置的一致性、位置の公平性といった指標を含む標準化されたフレームワークを構築し、複数のジャッジモデル間でのバイアスを評価・比較すること。
• モデルファミリー、タスクタイプ、回答品質の差が位置バイアスに与える影響を分析し、長さや冗長性によるバイアスが好みの背後要因かどうかを評価すること。
• 最適なジャッジモデルの選定法やベンチマーク設計の改善に役立つインサイトを提供し、自動化されたLLM評価の信頼性を高めること。
• 今後のLLMベースの評価システムにおけるデバイアス戦略研究の基盤となる用語と指標を確立すること。

提案手法

• 2つの応答を元の順序と逆順で提示する2段階の比較評価を用いて、位置バイアスを測定する体系的評価フレームワークを設計した。
• 主な指標を定義：繰返しの一貫性（繰り返し評価における判断の安定性）、位置的一致性（最初または2番目の応答に好まれる傾向）、位置の公平性（位置に依存しないバランスの取れた好まれ方）。
• 位置的好みスコア、優位性（初期優位性／最終優位性）、回答品質差といった用語を操作的に定義し、モデルやタスク間でのバイアス分析を標準化した。
• MTBenchおよびDevBenchの22のタスクで、GPT-3.5、GPT-4、GPT-4-Turbo、Claude-3、Gemini-Proの9体のLLMジャッジを用い、約80,000件の評価インスタンスを生成した。
• 位置的一致性および好みに与える影響を分析するため、OLS回帰を適用し、入力長、出力長、プロンプト長などのタスクレベル要因を分析した。
• 長さ統計とバイアスの関係を可視化・分析し、長さの影響は限定的であり、観察された冗長性バイアスは主に位置バイアスと品質差に起因していると結論づけた。

実験結果

リサーチクエスチョン

• RQ1 LLMジャッジは2段階比較評価においてどの程度位置バイアスを示すか。また、モデルファミリーとタスクタイプによってそのバイアスはどのように変動するか。
• RQ2 位置的一致性、公平性、繰返しの一貫性といった指標は、モデルの性能やコンテキスト窓サイズ、アーキテクチャといった内因的特性とどの程度相関するか。
• RQ3 応答の長さや冗長性が好みを独立して駆動しているのか、それとも観察されたバイアスは位置順序と回答品質差によってよりよく説明されるのか。
• RQ4 回答品質差が、特に品質が近い応答の状況において、LLM判断の一貫性と公平性にどのように影響を与えるか。
• RQ5 コスト効率の良いLLMは、GPT-4のような高コストモデルと同等またはそれ以上の公平性と一貫性を特定の評価タスクで達成できるか。

主な発見

• 位置バイアスは体系的かつ再現可能である：80％の判断で繰り返し評価において一貫した好みが確認され、ランダム性ではなく、モデル固有の構造的特徴に起因していることが示された。
• GPT-4は最高の位置的一致性（0.92）と公平性（0.51）を示したが、一部のタスクではGPT-3.5のような低コストモデルも同等またはより高い公平性を示した。
• モデルファミリーの特性がバイアスに顕著に影響する：GPTシリーズは高い一貫性と公平性を示したが、Claude-3シリーズは顕著な最終優位性（2番目の応答に好まれる傾向）を示した。
• 位置的一致性は回答品質差に直接比例していた。応答の品質が近い場合には判断の一貫性が低くなることが判明し、微細な評価の難しさが浮き彫りになった。
• 長さに基づくバイアス（例：長めの応答を好む）は独立した要因として有意ではなかった。むしろ、位置バイアスに吸収されていた。これは、長さへの好みが品質バイアスの代理変数である可能性を示唆している。
• OLS回帰分析により、タスク固有要因（例：UMLクラス設計）が位置好みに統計的に有意な影響を与えることが判明（p < 0.05）。一方、GPT-4-Turboのようなモデルファミリー効果は負のバイアス（β = -0.0036、p = 0.015）を示し、やや2番目の応答に好まれる傾向があることが明らかになった。