[논문 리뷰] Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations

Evan Miller|arXiv (Cornell University)|2024. 11. 01.

Natural Language Processing Techniques인용 수 6

한 줄 요약

언어 모델 평가를 위한 형식적 통계 프레임워크를 도입하고, 평가 노이즈를 정량화하고 모델 간 비교를 위해 표준 오차, 신뢰구간, 대응/클러스터링 분석을 권장합니다. 평가 설계를 위한 분산 감소와 검정력 분석에 관한 실용적 지침을 제공합니다.

ABSTRACT

Evaluations are critical for understanding the capabilities of large language models (LLMs). Fundamentally, evaluations are experiments; but the literature on evaluations has largely ignored the literature from other sciences on experiment analysis and planning. This article shows researchers with some training in statistics how to think about and analyze data from language model evaluations. Conceptualizing evaluation questions as having been drawn from an unseen super-population, we present formulas for analyzing evaluation data, measuring differences between two models, and planning an evaluation experiment. We make a number of specific recommendations for running language model evaluations and reporting experiment results in a way that minimizes statistical noise and maximizes informativeness.

연구 동기 및 목표

• 평가 질문을 보이지 않는 초 모집단으로부터의 표본으로 간주하고 평가가 측정하는 underlying skill을 연구합니다.
• 평균의 표준 오차와 신뢰구간을 계산하기 위한 공식을 제시하고 평가에 대한 실용적 권고를 제공합니다.
• 같지않은 샘플링과 매칭되지 않은 분석을 포함하여 두 모델을 비교하는 방법을 개발하고, 클러스터 표준오차를 포함합니다.
• 편향 없이 분산 감소 전략과 실험 설계 및 보고를 안내하는 검정력 분석 프레임워크를 제공합니다.

제안 방법

• 모델 평가 점수는 조건부 평균과 0평균 랜덤 구성요소로 분해됩니다.
• 표준 오차를 추정하고 평균과 함께 SE를 보고하기 위해 중심극한정리를 사용합니다.
• 클러스터로 묶인 질문에서 독립적이지 않은 문제를 처리하기 위해 클러스터 표준오차를 도입합니다.
• 가능한 경우 다음 토큰 확률 분석을 분산 감소 기법으로 제안합니다.
• 같은 질문에서 두 모델을 비교할 때 상관관계를 활용하기 위해 매칭된 차이의 표준오차를 도출합니다.
• 원하는 탐지 가능성을 가진 샘플 크기를 제공하기 위한 가설 검정력과 샘플 크기 공식(필요한 알파와 베타 하에서)

실험 결과

연구 질문

• RQ1 평가 결과를 실제 초 모집단 평균에 대한 불확실성을 반영하도록 어떻게 분석해야 합니까?
• RQ2 독립적이고 클러스터링된 질문 샘플링에서 평가 점수에 대한 표준 오차와 신뢰구간을 어떻게 정확히 계산할 수 있습니까?
• RQ3 통계적 검정을 최대한으로 파워를 높이면서(비대응 대 대응, 클러스터링) 모델 비교를 어떻게 수행해야 합니까?
• RQ4 바이어스 없이 결과를 왜곡하지 않으면서 평가 분산을 최소화하는(resampling, 다음 토큰 확률) 전략은 무엇입니까?
• RQ5 모델 차이를 안정적으로 탐지하기 위해 필요한 샘플 크기와 최소 탐지 효과(MDE)는 얼마입니까?

주요 결과

• 평가 점수에 대해 평균의 표준 오차를 보고해야 하며, 이는 중심극한정리에 의해 계산됩니다(SE = sqrt(Var(s)/n)).
• 질문이 관련된 그룹으로 묶여 있을 때는 클러스터 표준오차가 필요하며, 순수 SE보다 상당히 크게 나타날 수 있습니다(예: 최대 3배).
• 같은 질문에서 두 모델을 비교할 때 매칭된 분석은 상관관계를 활용하여 분산을 줄입니다.
• 가능한 경우 생성된 답을 확률로 대체하여 조건부 분산을 추가로 줄일 수 있는 다음 토큰 확률이 유용합니다.
• 주어진 알파와 베타로 특정 효과 크기를 탐지하기 위해 필요한 질문 수를 정하는 검정력 분석 및 샘플 크기 공식(n = (z_alpha/2 + z_beta)^2 (omega^2 + sigma_A^2/K_A + sigma_B^2/K_B) / delta^2)을 제공합니다.
• 본 논문은 실제 평가에서 보고된 신뢰구간이 클러스터링 및 분산 구조를 무시해 과소 추정될 수 있다고 주장합니다(과소 보수적일 수 있음).