[论文解读] Elo Uncovered: Robustness and Best Practices in Language Model Evaluation

M. Boubdir, Edward Kim+3 more|arXiv (Cornell University)|Nov 29, 2023

Sports Analytics and Performance被引用 5

一句话总结

本文研究了使用人类反馈评估大语言模型（LLMs）时，Elo评分系统的可靠性，揭示了Elo分数对比赛顺序和K因子等超参数高度敏感。本文提出了最佳实践方法，如使用100次以上的排列和自适应K因子，以确保稳定、可传递的排名，尤其适用于性能相近的模型。

ABSTRACT

In Natural Language Processing (NLP), the Elo rating system, originally designed for ranking players in dynamic games such as chess, is increasingly being used to evaluate Large Language Models (LLMs) through "A vs B" paired comparisons. However, while popular, the system's suitability for assessing entities with constant skill levels, such as LLMs, remains relatively unexplored. We study two fundamental axioms that evaluation methods should adhere to: reliability and transitivity. We conduct extensive evaluation of Elo behaviour, illustrating that individual Elo computations exhibit volatility and delving into the impact of varying the Elo rating system's hyperparameters. We show that these axioms are not always satisfied raising questions about the reliability of current comparative evaluations of LLMs. If the current use of Elo scores is intended to substitute the costly head-to-head comparison of LLMs, it is crucial to ensure the ranking is as robust as possible. Guided by the axioms, our findings offer concrete guidelines for enhancing the reliability of LLM evaluation methods, suggesting a need for reassessment of existing comparative approaches.

研究动机与目标

• 评估Elo评分系统在评估静态、时间无关的大语言模型（LLMs）时的适用性，这些模型与国际象棋选手等动态参与者存在根本性差异。
• 研究在使用人类反馈进行Elo评分的LLM评估中，可靠性与可传递性等核心公理是否成立。
• 识别破坏Elo评分稳健性的关键因素，如超参数选择和比较序列。
• 提供基于实证的最佳实践，以提升基于Elo的LLM排名的稳定性和可解释性。
• 挑战配对比较中的可传递性假设，特别是在模型性能水平相近时。

提出的方法

• 基于可靠性与可传递性的公理框架，评估Elo系统在LLM评估中的适用性。
• 使用真实的人类反馈数据，对LLM进行成对比较，开展广泛的实证分析。
• 系统性地改变K因子和排列样本数量（N_perms），以评估其对评分稳定性和收敛性的影响。
• 使用具有受控胜率的合成数据，隔离比赛顺序和超参数对Elo结果的影响。
• 应用排列抽样（N_perms ≥ 100）以估计标准误，提升评分一致性。
• 将单次排列的Elo评分与100次排列的均值和标准误进行比较，量化评分波动性。

实验结果

研究问题

• RQ1 当应用于具有静态能力的大语言模型时，Elo评分系统在多大程度上满足可靠性与可传递性公理？
• RQ2 Elo评分对成对比较的顺序以及K因子等超参数的选择有多敏感？
• RQ3 有限的成对比较数据对LLM评分的稳定性和准确性有何影响？
• RQ4 自适应K因子能否提升收敛速度和评分稳定性，尤其是在性能差异明显的情况下？
• RQ5 在何种条件下Elo评分中的可传递性会失效，特别是在模型性能相近时？

主要发现

• 使用单次排列计算的LLM Elo评分表现出显著波动性，当N_perms < 100时，标准误显著增加。
• K因子的选择对评分稳定性具有决定性影响：较小的K因子可减少性能相近模型的波动，而较大的K因子则能加速明显占优模型的收敛。
• 可传递性在Elo评分中并非必然成立；A击败B且B击败C，并不能保证A击败C，尤其在性能水平接近时更为明显。
• 为实现稳定可靠的Elo评分，至少需要100次排列样本，以降低方差并确保一致的排名结果。
• 缺乏全面的成对比较数据——尤其是当未对所有模型对进行评估时——会导致排名不可靠，并损害Elo系统的有效性。
• 单次排列的Elo评分不足以实现稳健评估，因其无法捕捉人类反馈和比较顺序中固有的不确定性。