[論文レビュー] Statistical Significance Testing in Information Retrieval: An Empirical Analysis of Type I, Type II and Type III Errors

Julián Urbano, Harlley Lima+1 more|Research Repository (Delft University of Technology)|May 27, 2019

Information Retrieval and Search Behavior参考文献 45被引用数 15

ひとこと要約

本論文は、TRECデータからの5億以上のシミュレートされたp値を用いて、情報検索における統計的有意性検定における型I、II、III誤りの最初の大規模な実証的分析を提示する。t検定とパーミュテーション検定は、測定指標や標本サイズに関係なく名目上の型I誤り率を維持するが、ウィルコクソン検定とブートストラップシフト検定は、特に大きなトピックセットにおいて型I誤り率が上昇し、高い検出力にもかかわらず信頼できない結論を導くことになる。

ABSTRACT

Statistical significance testing is widely accepted as a means to assess how well a difference in effectiveness reflects an actual difference between systems, as opposed to random noise because of the selection of topics. According to recent surveys on SIGIR, CIKM, ECIR and TOIS papers, the t-test is the most popular choice among IR researchers. However, previous work has suggested computer intensive tests like the bootstrap or the permutation test, based mainly on theoretical arguments. On empirical grounds, others have suggested non-parametric alternatives such as the Wilcoxon test. Indeed, the question of which tests we should use has accompanied IR and related fields for decades now. Previous theoretical studies on this matter were limited in that we know that test assumptions are not met in IR experiments, and empirical studies were limited in that we do not have the necessary control over the null hypotheses to compute actual Type I and Type II error rates under realistic conditions. Therefore, not only is it unclear which test to use, but also how much trust we should put in them. In contrast to past studies, in this paper we employ a recent simulation methodology from TREC data to go around these limitations. Our study comprises over 500 million p-values computed for a range of tests, systems, effectiveness measures, topic set sizes and effect sizes, and for both the 2-tail and 1-tail cases. Having such a large supply of IR evaluation data with full knowledge of the null hypotheses, we are finally in a position to evaluate how well statistical significance tests really behave with IR data, and make sound recommendations for practitioners.

研究の動機と目的

• 実際の条件下で、情報検索における一般的な統計的検定の型Iおよび型II誤り率を実証的に評価すること。
• 長年の議論である、情報検索評価に最も適切な有意性検定は何かという問題を、ずれ率に依存するのではなく、実際の誤り率を測定することによって解決すること。
• 既知の帰無仮説をもつシミュレーションを用いて、実務家への根拠に基づく推奨を提供すること。
• t検定、ウィルコクソン検定、符号検定、ブートストラップシフト検定、パーミュテーション検定といったパラメトリックおよびノンパラメトリック検定の、異なる効果測定指標、トピックセットサイズ、効果量の下での性能を評価すること。

提案手法

• 本研究は、実際のTREC評価データに基づく確率的シミュレーション手法を用い、既知の帰無仮説の下で合成されたシステム性能スコアを生成する。
• 効果測定指標（AP、nDCG@20、ERR@20、P@10、RR）、トピックセットサイズ（25、50、100）、有意水準（0.001～0.1）、効果量（δ = 0.01～0.1）の複数の組み合わせにおいて、5億以上のp値が計算された。
• シミュレーションにより帰無仮説を完全に制御でき、実際の型I、型II、型III誤り率を直接計算することが可能になった。
• 対応した統計的検定（t検定、ウィルコクソン検定、符号検定、ブートストラップシフト検定、パーミュテーション検定）を各シミュレート比較に適用し、その誤り行動を評価した。
• 誤り率は、すべての比較および有意な結果の上でも計算され、有意な発見のうちの誤った発見の割合を評価した。
• 分布のばらつきが誤り率に与える影響を評価するために、異なる効果測定指標における検定の挙動を比較した。

実験結果

リサーチクエスチョン

• RQ1 実際の情報検索評価データ（既知の帰無仮説を有する）に適用された一般的な統計的検定が、実際の型I誤り率においてどのように振る舞うか。
• RQ2 t検定、ウィルコクソン検定、符号検定、ブートストラップシフト検定、パーミュテーション検定の型I誤り率が、異なる効果測定指標およびトピックセットサイズにおいて、名目有意水準からどれほど逸脱するか。
• RQ3 型IIおよび型III誤り率は効果量および標本サイズにどのように変化するか。また、有意な結果のうち実際に誤ったもの（型III誤り）である割合はどの程度か。
• RQ4 理論的には魅力的であるが、実際にはブートストラップシフト検定が、特に小規模から中規模の標本サイズにおいて型I誤り率を上昇させるのか。
• RQ5 一般的な情報検索評価シナリオにおいて、型I誤り制御と統計的パワーの両立を最も信頼できるバランスで達成できる統計的検定は何か。

主な発見

• t検定とパーミュテーション検定は、すべての効果測定指標およびトピックセットサイズにおいて、名目有意水準（α）に近い型I誤り率を維持しており、頑健性と信頼性が確認された。
• ウィルコクソン検定は、特にトピックセットサイズが増加するにつれて顕著に型I誤り率が上昇し、平均システム効果性に関する仮説検定には信頼できない。
• ブートストラップシフト検定は、一貫したバイアスによりp値が小さくなり、特に小さなデータセットでは名目水準よりも高い型I誤り率を示した。
• 符号検定も、特に大きなトピックセットにおいて高い型I誤り率を示し、その低パワーと高い誤り率のため、平均差の検定には推奨されない。
• APおよびP@10（50トピック）において、δ = 0.01のとき、型III誤り率は約7.2–7.3％であり、有意な結果の約7％が誤った結論を導く可能性がある。
• 検定の誤り行動は、測定指標のばらつきとはほとんど独立しており、RRのようなばらつきの大きい指標が inherently 高い検定誤り率をもたらすわけではない。しかし、t検定とパーミュテーション検定は、すべての指標で安定している。