[論文レビュー] Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations

Evan Miller|arXiv (Cornell University)|Nov 1, 2024

Natural Language Processing Techniques被引用数 6

ひとこと要約

言語モデル評価のための formal な統計フレームワークを提案し、標準誤差、信頼区間、および対ペア/クラスタ分析を用いて評価ノイズを定量化しモデルを比較する。 eval設計のための分散削減と検出力分析に関する実践的指針を提供する。

ABSTRACT

Evaluations are critical for understanding the capabilities of large language models (LLMs). Fundamentally, evaluations are experiments; but the literature on evaluations has largely ignored the literature from other sciences on experiment analysis and planning. This article shows researchers with some training in statistics how to think about and analyze data from language model evaluations. Conceptualizing evaluation questions as having been drawn from an unseen super-population, we present formulas for analyzing evaluation data, measuring differences between two models, and planning an evaluation experiment. We make a number of specific recommendations for running language model evaluations and reporting experiment results in a way that minimizes statistical noise and maximizes informativeness.

研究の動機と目的

• 評価の問いを、見えないスーパーポピュレーションからの抽出と見なして、評価が測定する基礎的な能力を研究する。
• 評価における標準誤差と信頼区間を計算する式と実践的な推奨を提供する。
• 非対応と対応分析を含む、クラスタリング標準誤差を用いた二モデル比較の方法を開発する。
• 分散削減戦略と検出力分析の枠組みを提供し、実験設計と報告を導く。

提案手法

• モデル評価スコアは、条件付き平均とゼロ平均のランダム成分に分解される。
• 中心極限定理を用いて平均の標準誤差を推定し、平均とともに SE を報告する。
• クラスタ内で独立でない質問を扱うためにクラスタリング標準誤差を導入する。
• 利用可能な場合、次トークン確率分析を分散削減手法として提案する。
• 同一の質問で二モデルを比較する際の相関を活用するため、ペア付き差の標準誤差を導出する。
• 所望の検出力に基づく必要サンプルサイズの検出力分析式を提供する。

実験結果

リサーチクエスチョン

• RQ1 評価結果を、真のスーパーポピュレーション平均についての不確実性を反映してどのように分析すべきか？
• RQ2 独立およびクラスタリングされた質問サンプリングの下で、評価スコアの標準誤差と信頼区間を正しく計算するにはどうすればよいか？
• RQ3 統計的検出力を最大化するために、モデル比較をどのように実施すべきか（非対応対比、対応、クラスタリング）？
• RQ4 再サンプリングや次トークン確率など、結果に偏りを与えずに評価の分散を最小化する戦略は何か？
• RQ5 モデル差を確実に検出するために必要なサンプルサイズと最小検出効果（MDE）は何か？

主な発見

• 評価スコアには平均の標準誤差を報告すべきで、中心極限定理を用いて推定する（SE = sqrt(Var(s)/n)）。
• 質問が関連グループで抽出される場合にはクラスタリング標準誤差が必要で、素朴なSEよりも大きくなる可能性がある（例として最大で3倍程度）。
• 同じ質問で二モデルを比較する場合に、対ペア分析は分散を減らし、各質問でのモデル間の相関を活用する。
• 利用可能な場合、生成された回答を確率値に置換して条件付き分散をさらに低減できる。
• 指定された有意水準(alpha)と検出力(beta)で、特定の効果量を検出するのに必要な質問数を決定する力分析とサンプルサイズ式が提供される（n = (z_alpha/2 + z_beta)^2 (omega^2 + sigma_A^2/K_A + sigma_B^2/K_B) / delta^2）。
• 本論文は、クラスタリングと分散構造を無視することにより、一部の実評価で報告された信頼区間が過小評価（過度に狭い）になる可能性があると主張する。