[論文レビュー] Elo Uncovered: Robustness and Best Practices in Language Model Evaluation

M. Boubdir, Edward Kim+3 more|arXiv (Cornell University)|Nov 29, 2023

Sports Analytics and Performance被引用数 5

ひとこと要約

この論文は、人間のフィードバックを用いた大規模言語モデル（LLM）の評価におけるEloレーティングシステムの信頼性を調査し、Eloスコアが試合の順序やK要因などのハイパーパrameterに極めて敏感であることが明らかになった。特に、類似した性能を持つモデルに対しては、安定した順位付けを実現するためのベストプラクティス（100以上のパーミュテーションの使用や適応的K要因の採用）を提案する。

ABSTRACT

In Natural Language Processing (NLP), the Elo rating system, originally designed for ranking players in dynamic games such as chess, is increasingly being used to evaluate Large Language Models (LLMs) through "A vs B" paired comparisons. However, while popular, the system's suitability for assessing entities with constant skill levels, such as LLMs, remains relatively unexplored. We study two fundamental axioms that evaluation methods should adhere to: reliability and transitivity. We conduct extensive evaluation of Elo behaviour, illustrating that individual Elo computations exhibit volatility and delving into the impact of varying the Elo rating system's hyperparameters. We show that these axioms are not always satisfied raising questions about the reliability of current comparative evaluations of LLMs. If the current use of Elo scores is intended to substitute the costly head-to-head comparison of LLMs, it is crucial to ensure the ranking is as robust as possible. Guided by the axioms, our findings offer concrete guidelines for enhancing the reliability of LLM evaluation methods, suggesting a need for reassessment of existing comparative approaches.

研究の動機と目的

• 静的で時間的要因を考慮しないLLMの評価に、Eloレーティングシステムが適しているかどうかを評価すること。これは、チェスの選手など動的プレイヤーとは本質的に異なる。
• 人間のフィードバックを用いたEloベースのLLM評価において、信頼性と推移性という基本的公理が満たされているかを調査すること。
• Eloレーティングの堅牢性を損なう主な要因（ハイパーパrameterの選択や比較順序など）を同定すること。
• EloベースのLLM順位付けの安定性と解釈可能性を向上させる、実証的根拠に基づくベストプラクティスを提供すること。
• 特に性能が類似したモデル同士のペアワイズ比較において、推移性の仮定が成立しない可能性を検証すること。

提案手法

• 信頼性と推移性に基づく公理的フレームワークを採用し、LLM評価におけるEloの適切さを評価する。
• ペアワイズ比較における実際の人間フィードバックデータを用いて、広範な実証的分析を実施する。
• K要因とパーミュテーションサンプル数（N_perms）を体系的に変化させ、レーティングの安定性と収束への影響を評価する。
• 制御された勝利確率を持つ合成データを用い、試合順序とハイパーパrameterの影響をElo結果に分離して分析する。
• 標準誤差の推定とレーティングの一貫性向上のため、パーミュテーションサンプリング（N_perms ≥ 100）を適用する。
• 単一パーミュテーションのEloスコアと100回のパーミュテーションにおける平均値および標準誤差を比較し、ボラティリティを定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 静的特性を持つLLMにEloレーティングシステムを適用した場合、信頼性と推移性という公理がどの程度満たされているか。
• RQ2 Eloスコアは、ペアワイズ比較の順序やK要因などのハイパーパラメータの選択にどの程度敏感か。
• RQ3 限定的なペアワイズ比較データは、LLMのレーティングの安定性と正確性にどのような影響を与えるか。
• RQ4 適応的K要因は、特に性能に明確な差がある場合に、収束速度とレーティングの安定性を向上させることができるか。
• RQ5 推移性がEloベースのLLM評価で破綻する条件は何か、特にモデルの性能が近い場合に注目する。

主な発見

• 単一のパーミュテーションで計算されたLLMのEloスコアは、N_perms < 100 の場合、標準誤差が著しく増加し、顕著なボラティリティを示す。
• K要因の選択はレーティングの安定性に顕著な影響を与える：類似した勝率を示すモデルに対しては、小さなK要因がフラクチュエーションを低減するが、著しく優れたモデルに対しては大きなK要因が収束を加速する。
• 推移性はEloレーティングで保証されない。モデルAがBに勝ち、BがCに勝つからといって、AがCに勝つとは限らない。特に性能が近い場合に顕著である。
• 安定的かつ信頼性のあるEloスコアを得るためには、分散を低減し、一貫性のある順位付けを実現するため、少なくとも100のパーミュテーションサンプルが必要である。
• 包括的なペアワイズ比較データが欠落している（特にすべてのモデルペアが評価されていない）と、レーティングが信頼できず、Eloシステムの妥当性が損なわれる。
• 単一パーミュテーションのEloスコアは、人間のフィードバックと比較順序に内在する不確実性を捉えきれておらず、信頼性の高い評価には不十分である。