[논문 리뷰] Statistical Significance Testing in Information Retrieval: An Empirical Analysis of Type I, Type II and Type III Errors

Julián Urbano, Harlley Lima외 1명|Research Repository (Delft University of Technology)|2019. 05. 27.

Information Retrieval and Search Behavior참고 문헌 45인용 수 15

한 줄 요약

이 논문은 TREC 데이터에서 유도된 5억 개 이상의 시뮬레이션된 p-값을 사용하여 정보 검색에서의 통계적 유의성 검정에 대한 유형 I, II, 및 III 오류에 대한 최초의 대규모 실증 분석을 제시한다. t-검정과 순열 검정은 측정 기준과 표본 크기에 관계없이 명목상의 유형 I 오류 비율을 유지하는 반면, 윌코xon 검정과 부트스트랩 시프트 검정은 특히 더 큰 주제 집합에서 유의하게 증가한 유형 I 오류를 보이며, 높은 검정력에도 불구하고 신뢰할 수 없는 결론을 이끌어낸다.

ABSTRACT

Statistical significance testing is widely accepted as a means to assess how well a difference in effectiveness reflects an actual difference between systems, as opposed to random noise because of the selection of topics. According to recent surveys on SIGIR, CIKM, ECIR and TOIS papers, the t-test is the most popular choice among IR researchers. However, previous work has suggested computer intensive tests like the bootstrap or the permutation test, based mainly on theoretical arguments. On empirical grounds, others have suggested non-parametric alternatives such as the Wilcoxon test. Indeed, the question of which tests we should use has accompanied IR and related fields for decades now. Previous theoretical studies on this matter were limited in that we know that test assumptions are not met in IR experiments, and empirical studies were limited in that we do not have the necessary control over the null hypotheses to compute actual Type I and Type II error rates under realistic conditions. Therefore, not only is it unclear which test to use, but also how much trust we should put in them. In contrast to past studies, in this paper we employ a recent simulation methodology from TREC data to go around these limitations. Our study comprises over 500 million p-values computed for a range of tests, systems, effectiveness measures, topic set sizes and effect sizes, and for both the 2-tail and 1-tail cases. Having such a large supply of IR evaluation data with full knowledge of the null hypotheses, we are finally in a position to evaluate how well statistical significance tests really behave with IR data, and make sound recommendations for practitioners.

연구 동기 및 목표

• 실제 조건에서 정보 검색에서 일반적으로 사용되는 통계 검정의 실제 유형 I 및 유형 II 오류 비율을 실증적으로 평가하는 것.
• 오랜 기간 동안 논란이 되어 온 정보 검색 평가에 가장 적합한 통계 검정은 무엇인지에 대한 논의를 해결하기 위해, 불일치 비율에 의존하는 대신 실제 오류 비율을 측정하는 것.
• 알려진 귀무가설을 가진 시뮬레이션을 통해 평가 점수를 생성함으로써 실무자에게 근거 기반의 권고를 제공하는 것.
• 모수적 및 비모수적 검정(즉, t-검정, 윌코xon 검정, 부호 검정, 부트스트랩 시프트 검정, 순열 검정)이 다양한 성능 측정 기준, 주제 집합 크기, 효과 크기에서 어떻게 작동하는지 평가하는 것.

제안 방법

• 실제 TREC 평가 데이터를 기반으로 한 확률적 시뮬레이션 방법론을 사용하여 알려진 귀무가설 하에서 합성된 시스템 성능 점수를 생성한다.
• 성능 측정 기준(예: AP, nDCG@20, ERR@20, P@10, RR), 주제 집합 크기(25, 50, 100), 유의수준(0.001에서 0.1), 효과 크기(δ = 0.01에서 0.1)의 다양한 조합에서 5억 개 이상의 p-값을 계산한다.
• 귀무가설에 대한 완전한 제어가 가능하므로 실제 유형 I, 유형 II, 및 유형 III 오류 비율을 직접 계산할 수 있다.
• 쌍체 통계 검정(t-검정, 윌코xon 검정, 부호 검정, 부트스트랩 시프트 검정, 순열 검정)을 각 시뮬레이션 비교에 적용하여 오류 행동을 평가한다.
• 모든 비교 및 유의한 결과에 대해 오류 비율을 계산하여, 유의한 발견들 중에서 잘못된 발견의 비율을 평가한다.
• 오류 비율에 대한 분포의 변동성 영향을 평가하기 위해 다양한 성능 측정 기준에서 검정 행동을 비교한다.

실험 결과

연구 질문

• RQ1 실제 정보 검색 평가 데이터에 대해 알려진 귀무가설 하에서 일반적인 통계 검정이 실제 유형 I 오류 비율에서 어떻게 작동하는가?
• RQ2 t-검정, 윌코xon 검정, 부호 검정, 부트스트랩 시프트 검정, 순열 검정의 유형 I 오류 비율이 다양한 성능 측정 기준과 주제 집합 크기에서 명목상의 유의수준과 얼마나 벗어나는가?
• RQ3 유형 II 및 유형 III 오류 비율은 효과 크기와 표본 크기에 따라 어떻게 변하는가? 그리고 실제로 잘못된 결과(유형 III 오류)인 유의한 결과의 비율은 얼마인가?
• RQ4 이론적으로 매력적인 부트스트랩 시프트 검정은 실제로 소규모에서 중간 규모의 표본 크기에서 높은 유형 I 오류 비율을 보이는가?
• RQ5 일반적인 정보 검색 평가 상황에서 유형 I 오류 제어와 통계적 검정력 사이의 가장 안정적인 균형을 제공하는 통계 검정은 무엇인가?

주요 결과

• t-검정과 순열 검정은 모든 성능 측정 기준과 주제 집합 크기에서 명목상의 유의수준(α)에 가까운 유형 I 오류 비율을 유지하며, 이는 강건성과 신뢰성의 증거이다.
• 윌코xon 검정은 주제 집합 크기가 증가함에 따라 뚜렷하게 증가한 유형 I 오류 비율을 보이며, 평균 시스템 성능에 대한 추론 검정에 신뢰할 수 없다.
• 부트스트랩 시프트 검정은 일관된 편향을 보이며 더 작은 p-값을 유도하여, 특히 더 작은 컬렉션에서 명목상 수준보다 높은 유형 I 오류 비율을 보인다.
• 부호 검정 역시 큰 주제 집합에서 높은 유형 I 오류 비율을 보이며, 저력과 높은 오류 비율로 인해 평균 차이 검정에 권장되지 않는다.
• AP 및 P@10에 대해 50개 주제에서 δ = 0.01일 때 유형 III 오류 비율은 약 7.2–7.3%이며, 이는 통계적으로 유의한 결과의 약 7%가 잘못된 결론을 이끌 수 있음을 의미한다.
• 검정의 오류 행동은 성능 측정 기준의 변동성과 거의 독립적이다. 더 변동성이 큰 측정 기준(예: RR)이 본질적으로 더 높은 검정 오류 비율을 유도하지는 않지만, t-검정과 순열 검정은 모든 측정 기준에서 안정성을 유지한다.