[논문 리뷰] Elo Uncovered: Robustness and Best Practices in Language Model Evaluation

M. Boubdir, Edward Kim외 3명|arXiv (Cornell University)|2023. 11. 29.

Sports Analytics and Performance인용 수 5

한 줄 요약

이 논문은 인간 피드백을 사용하여 대규모 언어 모델(Large Language Models, LLMs)을 평가하는 데 있어 엘로 평가 체계의 신뢰성에 대해 조사하며, 엘로 점수가 매치 순서와 K-요소와 같은 하이퍼파라미터에 매우 민감함을 드러낸다. 특히 유사한 성능을 보이는 모델들에 대해 안정적이고 추이적인 순위를 확보하기 위해 100개 이상의 순열과 적응형 K-요소를 사용하는 것이 바람직하다는 최선의 실천 방안을 제안한다.

ABSTRACT

In Natural Language Processing (NLP), the Elo rating system, originally designed for ranking players in dynamic games such as chess, is increasingly being used to evaluate Large Language Models (LLMs) through "A vs B" paired comparisons. However, while popular, the system's suitability for assessing entities with constant skill levels, such as LLMs, remains relatively unexplored. We study two fundamental axioms that evaluation methods should adhere to: reliability and transitivity. We conduct extensive evaluation of Elo behaviour, illustrating that individual Elo computations exhibit volatility and delving into the impact of varying the Elo rating system's hyperparameters. We show that these axioms are not always satisfied raising questions about the reliability of current comparative evaluations of LLMs. If the current use of Elo scores is intended to substitute the costly head-to-head comparison of LLMs, it is crucial to ensure the ranking is as robust as possible. Guided by the axioms, our findings offer concrete guidelines for enhancing the reliability of LLM evaluation methods, suggesting a need for reassessment of existing comparative approaches.

연구 동기 및 목표

• 정적이고 시간에 영향을 받지 않는 LLMs(체스 기량자와는 본질적으로 다른 동적 플레이어와는 다름)에 대해 엘로 평가 체계의 적합성을 평가하기 위해.
• 인간 피드백을 사용한 엘로 기반 LLM 평가에서 핵심 공리인 신뢰성과 추이성(Transitivity)이 충족되는지 조사하기 위해.
• 엘로 점수의 탄력성을 해치는 주요 요인들—예: 하이퍼파라미터 선택과 비교 순서—를 특정하기 위해.
• 엘로 기반 LLM 순위의 안정성과 해석 가능성 향상을 위한 경험적 근거에 기반한 최선의 실천 방안을 제공하기 위해.
• 특히 성능 수준이 유사할 경우에 대해, 쌍대 비교에서 추이성의 가정을 도전하기 위해.

제안 방법

• 엘로 평가의 적합성을 평가하기 위해 신뢰성과 추이성 기반의 축약적 프레임워크를 채택하기 위해.
• 쌍대 비교를 통한 실제 인간 피드백 데이터를 활용해 광범위한 경험적 분석을 수행하기 위해.
• K-요소와 순열 샘플 수(N_perms)를 체계적으로 변화시켜 평가 안정성과 수렴에 미치는 영향을 평가하기 위해.
• 매치 순서와 하이퍼파라미터의 영향을 분리하기 위해 통제된 승리 확률을 가진 시뮬레이션 데이터를 사용하기 위해.
• 표준 오차를 추정하고 평가 일관성을 향상시키기 위해 순열 샘플링(N_perms ≥ 100)을 적용하기 위해.
• 단일 순열 엘로 점수를 100개의 순열 평균과 표준 오차와 비교하여 변동성의 정도를 정량화하기 위해.

실험 결과

연구 질문

• RQ1 정적 능력을 지닌 LLMs에 엘로 평가 체계를 적용할 때, 신뢰성과 추이성의 공리가 어느 정도 충족되는가?
• RQ2 엘로 점수는 매치 순서와 K-요소와 같은 하이퍼파라미터 선택에 얼마나 민감한가?
• RQ3 제한된 쌍대 비교 데이터는 LLM 엘로 순위의 안정성과 정확성에 어떤 영향을 미치는가?
• RQ4 적응형 K-요소는 명백한 성능 격차가 있는 경우 수렴 속도와 평가 안정성을 향상시킬 수 있는가?
• RQ5 성능이 유사한 모델들 사이에서 엘로 기반 LLM 평가에서 추이성이 깨지는 조건은 무엇인가, 특히 모델들이 유사한 성능을 보일 경우에 대해?

주요 결과

• 단일 순열을 사용해 계산된 LLM 엘로 점수는 상당한 변동성을 보이며, N_perms < 100일 경우 표준 오차가 크게 증가한다.
• K-요소의 선택은 평가 안정성에 결정적인 영향을 미친다: 유사한 승리 비율을 보이는 모델들에 대해서는 작은 K-요소가 변동성을 줄이고, 뚜렷한 승리 우위가 있는 모델들에 대해서는 큰 K-요소가 수렴 속도를 높인다.
• 엘로 점수에서 추이성이 보장되지 않는다: A가 B를 이기고 B가 C를 이긴다고 해서 반드시 A가 C를 이긴다는 보장이 없으며, 특히 성능 수준이 유사할 경우 더욱 그렇다.
• 안정적이고 신뢰할 수 있는 엘로 점수를 확보하려면 최소 100개의 순열 샘플이 필요하며, 이는 분산을 줄이고 일관된 순위 결과를 보장하기 위함이다.
• 모든 모델 쌍이 평가되지 않은 포괄적인 쌍대 비교 데이터 부족은 순위의 신뢰성에 악영향을 미치며 엘로 체계의 타당성을 약화시킨다.
• 단일 순열 엘로 점수는 강력한 평가에 부적합하며, 인간 피드백과 비교 순서의 불확실성을 반영하지 못한다.