[논문 리뷰] Null/No Information Rate (NIR): a statistical test to assess if a classification accuracy is significant for a given problem

Manuele Bicego, Antonella Mensi|arXiv (Cornell University)|2023. 06. 09.

Sensor Technology and Measurement Systems인용 수 10

한 줄 요약

논문은 분류기의 정확도가 No Information Rate (NIR) 또는 무작위 기준보다 통계적으로 유의하게 나은지 판단하기 위한 한쪽 binomial 검정을 도입하고, 분류 성능 평가를 위한 형식적 통계 프레임워크를 제공한다.

ABSTRACT

In many research contexts, especially in the biomedical field, after studying and developing a classification system a natural question arises: "Is this accuracy enough high?", or better, "Can we say, with a statistically significant confidence, that our classification system is able to solve the problem"? To answer to this question, we can use the statistical test described in this paper, which is referred in some cases as NIR (No Information Rate or Null Information Rate).

연구 동기 및 목표

• 분류 정확도가 충분히 높은지 평가할 필요성을 동기 부여한다.
• No Information Rate (NIR)와 분류 작업에서 기준선으로서의 역할을 정의한다.
• 관찰된 정확도의 NIR (또는 무작위 기준) 대비 유의성을 평가하기 위한 binomial-test 기반 절차를 제시한다.
• 생의학 및 머신러닝 맥락에서 이 검정을 적용하기 위한 실용적 지침과 참고 문헌을 제공한다.

제안 방법

• 분류 작업을 성공 정의를 올바르게 분류했을 때의 이항 실험으로 모델링한다.
• 기준선을 정의한다: 무작위 정확도 (1/C)와 학습 세트에서 가장 빈번한 클래스를 기반으로 한 NIR.
• 테스트 세트에서 관찰된 정확도 acc(C)와 정답 예측 수 t(C)를 계산한다.
• p를 기준선 성공 확률(p = NIR 또는 p = accRand)으로 설정하고 q = 1 − p로 둔다.
• pval = sum_{k=t(C)}^{m} C(m,k) p^k q^{m−k}의 한쪽 p-값을 계산한다.
• 원한다면 이중 꼬리 p-값: pval2 = 2 * sum_{k=t(C)}^{m} C(m,k) p^k q^{m−k}를 계산한다.

실험 결과

연구 질문

• RQ1 분류기가 No Information Rate (NIR) 또는 무작위 기준보다 유의하게 높은 정확도를 달성합니까?
• RQ2 주어진 테스트 세트 크기에 대해 관찰된 정확도의 통계적 유의성을 어떻게 정량화할 수 있습니까?
• RQ3 NIR 비교에 대한 이항 검정의 정규 근사가 언제 적합합니까?
• RQ4 생의학 또는 ML 맥Context에서 NIR 기반 유의성 검정을 실무자가 어떻게 구현하고 해석할 수 있습니까?

주요 결과

• 한쪽 이항 검정은 관찰된 정확도가 NIR(또는 무작위 기준)을 통계적으로 유의하게 초과하는지 평가할 수 있다.
• p-값은 관찰된 정답 수와 기준 확률을 사용하여 이항 분포에서 계산된다.
• 방향성을 가정하지 않고 정확도와 기준선 간의 차이에 대한 양측 p-값도 제공된다.
• 이 방법은 R caret 생태계에 구현되어 있으며 저자들이 Matlab 코드를 제공한다.
• 관련 선행 연구에서 mpq ≥ 5인 경우 정규 근사를 제안하지만 본 논문에서 명시적으로 평가되진 않았다.
• 이 접근법은 분류 정확도에 대한 실용적이고 데이터 기반의 기준선 비교를 제공한다.