[論文レビュー] How not to Lie with a Benchmark: Rearranging NLP Leaderboards

Tatiana Shavrina, Valentin Malykh|arXiv (Cornell University)|Dec 2, 2021

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

この論文は、NLPベンチマークスコアの集約に算術平均を使用することに疑問を呈し、正規化されたパフォーマンス指標の平均化に適した幾何平均と調和平均の使用を提唱する。GLUE、SuperGLUE、XGLUE、XTREMEの各ベンチマークでモデルを再順位付けした結果、人間のパフォーマンスが依然として優れていることが判明し、現在のSOTAモデルは1.5–2%遅れをとっている。これは、誤った平均化手法に起因する、標準のランクイングに偏りが生じていることを示している。

ABSTRACT

Comparison with a human is an essential requirement for a benchmark for it to be a reliable measurement of model capabilities. Nevertheless, the methods for model comparison could have a fundamental flaw - the arithmetic mean of separate metrics is used for all tasks of different complexity, different size of test and training sets. In this paper, we examine popular NLP benchmarks' overall scoring methods and rearrange the models by geometric and harmonic mean (appropriate for averaging rates) according to their reported results. We analyze several popular benchmarks including GLUE, SuperGLUE, XGLUE, and XTREME. The analysis shows that e.g. human level on SuperGLUE is still not reached, and there is still room for improvement for the current models.

研究の動機と目的

• NLPベンチマークスコアの根本的欠陥を特定・是正すること：異なる複雑さ、スケール、データ漏洩リスクを有するタスク間で算術平均が使用されていること。
• 算術平均が特定のタスクでの低パフォーマンスを十分にペナルティとして反映しないことから、モデルランクイングが歪められることを示すこと。
• 正規化スコアのマルチタスクベンチマークにおける集約に適した幾何平均と調和平均を提案し、適用すること。
• GLUE、SuperGLUE、XGLUE、XTREMEといった主要なNLPベンチマークで、代替の平均化手法を用いてトップモデルの再順位付けを行うこと。
• NLP分野における公平で信頼性の高いモデル評価を実現するため、ベンチマーク手法の見直しを提言すること。

提案手法

• 論文は、幾何平均（GM）と調和平均（HM）を用いて新たな総合スコアを計算する。GMはスコアの積のN乗根、HMはNをスコアの逆数の和で割った値として定義される。
• GLUE、SuperGLUE、XGLUE、XTREMEの全タスクにおいて、公開済みのモデルスコアにこれらの指標を適用し、タスクレベルのパフォーマンスデータを保持する。
• 算術平均（AM）、幾何平均、調和平均の各条件下でのランク付けを比較し、モデル順位の変化を検出する。
• トップモデルの統計的性質（合計、分散、標準偏差）を評価し、タスク間での一貫性と頑健性を分析する。
• XGLUEやXTREMEのような多言語ベンチマークでは、言語ごとの平均化（2段階平均化）が総合スコアに与える影響を検討する。
• 多言語ベンチマークにおける人間のパフォーマンスを外挿し、タスク間で人間評価の方法論に一貫性がないことを指摘する。

実験結果

リサーチクエスチョン

• RQ1 算術平均を幾何平均または調和平均に置き換えると、標準的なNLPベンチマークにおけるモデルランクイングにどのような影響を与えるか？
• RQ2 より適切な平均化手法を用いた場合、現在のSOTAモデルは人間水準にどの程度近づいており、それを超えているか？
• RQ3 なぜ算術平均がマルチタスクNLPベンチマークにおけるモデル比較を歪め、誤解を招くのか？
• RQ4 テストセットサイズの違い、データ漏洩のリスク、タスクの年齢の違いが、ベンチマークスコアの信頼性にどのように影響するか？
• RQ5 幾何平均や調和平均といった代替集約手法は、多様なNLPタスクにおけるモデルのバランスの取れたパフォーマンスをより良く反映できるか？

主な発見

• SuperGLUEでは、調和平均と幾何平均の順位付けで人間のパフォーマンスが1位となり、DeBERTaとT5+Meenaがそれぞれ2位と3位に位置づけられ、人間から1.5–2%遅れをとっている。
• GLUEにおける算術平均の順位付けでは、幾何平均および調和平均の順位付けでは16位に位置するモデルがトップとして評価されるなど、顕著なランクイングの歪みが生じている。
• SuperGLUEにおける人間のパフォーマンスは、合計（894.40）が高く、分散（130.31）もトップモデルより大きいことから、タスク間で一貫性に欠けるが全体として優れたパフォーマンスを示している。
• 上位3モデル（DeBERTa、T5+Meena、McAlbert+DKM）は、人間よりも分散と標準偏差が低く、より一貫性は高いが、ピークパフォーマンスは低い。
• XGLUEでは、多言語データからの外挿によって人間水準のパフォーマンスが推定されているが、実際の人間パフォーマンスは言語ごとに顕著に異なるため、ベンチマークの妥当性が損なわれている。
• 本研究は、現在のベンチマーク手法が、モデルの能力ではなく平均化手法の選択に大きく依存する「ベンチマーク・ロトゥリー」を生み出していることを明らかにした。