[論文レビュー] The Benchmark Lottery

Mostafa Dehghani, Yi Tay+6 more|arXiv (Cornell University)|Jul 14, 2021

Explainable Artificial Intelligence (XAI)参考文献 142被引用数 8

ひとこと要約

この論文は「ベンチマーク・ロトゥリー」という概念を提唱し、機械学習におけるアルゴリズムの成功は、しばしば特定のベンチマークタスクとの整合性に起因するが、本質的な優位性によるものではないと主張する。自然言語処理、ビジョン、強化学習のベンチマークにおいて実証的分析を行うと、モデルの順位付けがタスク選択、集計手法、評価設定の変更によって著しく変動することが明らかになった。これは、MLの進歩を測るうえでの体系的で脆く偏った性質を示している。

ABSTRACT

The world of empirical machine learning (ML) strongly relies on benchmarks in order to determine the relative effectiveness of different algorithms and methods. This paper proposes the notion of "a benchmark lottery" that describes the overall fragility of the ML benchmarking process. The benchmark lottery postulates that many factors, other than fundamental algorithmic superiority, may lead to a method being perceived as superior. On multiple benchmark setups that are prevalent in the ML community, we show that the relative performance of algorithms may be altered significantly simply by choosing different benchmark tasks, highlighting the fragility of the current paradigms and potential fallacious interpretation derived from benchmarking ML methods. Given that every benchmark makes a statement about what it perceives to be important, we argue that this might lead to biased progress in the community. We discuss the implications of the observed phenomena and provide recommendations on mitigating them using multiple machine learning domains and communities as use cases, including natural language processing, computer vision, information retrieval, recommender systems, and reinforcement learning.

研究の動機と目的

• 現在の機械学習ベンチマーク手法に内在する脆さとバイアスを暴露すること。
• モデルの順位付けがベンチマークの構成や評価選択に極めて敏感であることを示すこと。
• コミュニティの共通認識が、特定のモデルタイプを他のモデルタイプよりも優遇することで、研究進歩を歪めることを主張すること。
• バイアスを低減し、妥当性を向上させるために、より厳密で透明性があり、動的であるベンチマーク手法を提唱すること。
• 過適合や誤解釈を緩和するため、進化を続けるベンチマークと標準化された評価プロトコルの開発を促すこと。

提案手法

• 異なるタスクサブセットで複数のベンチマークスイート（例：SuperGLUE, VTAB, Long Range Arena, RL Unplugged）においてモデルのパフォーマンスを分析すること。
• 個々のタスクと全体のベンチマークスコアの間の順位相関を測定し、タスク選択バイアスを評価すること。
• スコア集計手法（例：平均値 vs. 最小値/最大値）がモデル順位に与える影響を評価すること。
• 人間評価と統計的仮説検定の実施方法がベンチマーク結果に与える影響を評価すること。
• タスク、データ、ラベルの更新を通じて時間経過とともに進化する「ライブベンチマーク」を提唱すること。
• 標準化された評価ガイドライン、統計的仮説検定プロトコル（例：Wilcoxon符号順位検定）および多重比較補正を推奨すること。

実験結果

リサーチクエスチョン

• RQ1 異なるベンチマークタスクの選択が、機械学習モデルの相対的順位にどのように影響するか？
• RQ2 平均化などの集計手法が、特定分野で優れたパフォーマンスを発揮するモデルではなく、均一に高いパフォーマンスを示すモデルを好む、どのようなインダクティブバイアスを導入するか？
• RQ3 テストセットの再利用やデータ漏洩などの評価設定の不整合が、ベンチマーク結果の妥当性にどのように影響するか？
• RQ4 コミュニティの規範や同僚レビューの実務が、どのベンチマークが公式なものとされ、研究の方向性にどのように影響を与えるか？
• RQ5 動的で進化を続けるベンチマークは、過適合を低減し、モデル評価の一般化能力を向上させることができるか？

主な発見

• SuperGLUE や VTAB などのベンチマークにおいて、異なるタスクサブセットを使用するとモデルの順位付けが顕著に変化することが判明し、タスク選択への高い感受性が示された。
• スコア集計に平均値を用いることは、特定分野で優れたパフォーマンスを発揮するモデルではなく、全般的に安定したパフォーマンスを示すモデルを好むインダクティブバイアスを導入する。
• 多くの研究で、適切な仮説検定（例：Wilcoxon符号順位検定）が使用されていないか、誤って使用されていることが判明した。
• 同じモデルが、あるベンチマークスイートでは上位にランクされるが、別のタスクサブセットでは下位にランクされることがある。これはベンチマーク結果の脆さを示している。
• データ更新と人間によるフィードバックを組み合わせた、進化を続けるベンチマーク（例：Dynabench や GEM）は、過適合に対してより頑健で、現実世界のパフォーマンスをよりよく反映している。
• ベンチマークの再利用と静的評価プロトコルは、過適合が徐々に蓄積される原因となり、モデルがデータセットの特徴に適合するようになり、一般化能力が低下する。