[논문 리뷰] Time for a change: a tutorial for comparing multiple classifiers through Bayesian analysis

Alessio Benavoli, Giorgio Corani외 2명|arXiv (Cornell University)|2016. 06. 14.

Neural Networks and Applications인용 수 278

한 줄 요약

논문은 분류기 비교에서 NHST를 버리고 베이지언 추정을 채택하며, 특히 실용적 등가 영역이 있는 베이지언 상관 t-검정을 사용하여 여러 데이터셋에서 차이와 등가의 확률을 정량화한다.

ABSTRACT

The machine learning community adopted the use of null hypothesis significance testing (NHST) in order to ensure the statistical validity of results. Many scientific fields however realized the shortcomings of frequentist reasoning and in the most radical cases even banned its use in publications. We should do the same: just as we have embraced the Bayesian paradigm in the development of new machine learning methods, so we should also use it in the analysis of our own results. We argue for abandonment of NHST by exposing its fallacies and, more importantly, offer better - more sound and useful - alternatives for it.

연구 동기 및 목표

• 머신러닝 분류기 평가에서 NHST를 포기하고 베이지언 분석을 채택하자는 주장을 제시한다.
• 교차 검증 의존성을 올바르게 다루면서 여러 데이터 세트에 걸쳐 분류기를 비교하는 베이지언 프레임워크를 제시한다.
• 베이지언 상관 t-검정과 실용적 등가 영역(rope)의 개념을 도입하여 실용적 유의성과 불확실성을 평가한다.

제안 방법

• 교차 검증 차이를 ρ로 지정된 상관 매개변수를 가진 상관 정규 벡터로 모델링하여 학습/검증 겹침을 반영한다.
• Normal-Gamma 사전분포를 사용하여 평균 차이 μ에 대한 Student 포스터리를 도출하고 특정 사전 선택 하에서 기존의 불편추론된 상관 t-검정과 일치시킨다.
• rope를 채택하여 실용적 등가를 정의하고 (a) nbc가 더 좋음, (b) 등가, (c) aode가 더 좋음에 대한 포스터 확률을 계산한다.
• 사후 고밀도 구간(HDI)을 계산하여 효과의 불확실성과 크기를 정량화한다.
• p-값에 의존하지 않고 사후 확률로부터 직접 자동 의사결정 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 Bayesian 분석이 여러 데이터셋에 걸쳐 한 분류기가 다른 분류기보다 우수하다는 확률을 어떻게 정량화할 수 있는가?
• RQ2 교차 검증의 상관 ρ를 도입하는 것이 분류기 성능의 평균 차이에 대한 추론에 어떤 영향을 미치는가?
• RQ3 분류기 간의 실용적 등가(rope)를 의미 있게 정의하고 측정할 수 있으며 등가 또는 차이에 대한 사후 확률은 무엇인가?
• RQ4 Bayesian 사후 요약(예: HDI)은 분류기 비교에서 효과 크기와 불확실성을 전달하는 데 NHST와 어떻게 비교되는가?

주요 결과

• NHST는 교차 검증 결과의 의존성과 p-값 해석으로 인해 분류기를 평가할 때 오도할 수 있다.
• 베이지언 상관 t-검정은 평균 차이 μ에 대한 포스터를 제공하는데, 동일한 데이터에 대해 빈도론적 p-값과 수치적으로 등가일 수 있지만 서로 다른 해석과 의사결정을 지지한다.
• 54개의 데이터셋에서, aode가 nbc보다 실용적으로 더 나은 것으로 판정된 데이터셋은 12개였고, nbc와 aode가 실용적으로 등가인 데이터셋은 6개였으며, nbc가 aode보다 실용적으로 더 나은 데이터셋은 없었다.
• rope(실용적 등가 영역)은 nbc ≪ aode, nbc ≈ aode, 및 nbc ≫ aode에 대한 확률을 포스터로부터 직접 추정하게 한다.
• 포스터 분포는 HDI를 통해 크기와 불확실성을 모두 제공하여 단순한 유의/비유의 이분적 해석을 넘어서는 정교한 결론을 가능하게 한다.
• 프레임워크는 p-값에 의존하지 않고 포스터 확률을 사용한 합리적인 자동 의사결정을 지원한다.