[논문 리뷰] Prevalence Threshold and bounds in the Accuracy of Binary Classification Systems

Jacques Balayla|arXiv (Cornell University)|2021. 12. 25.

Imbalanced Data Classification Techniques인용 수 4

한 줄 요약

이 논문은 유병율 임계값($φ_e$)과 새로운 음성 유병율 임계값($φ_n$)을 도입하여 이들이 이진 분류 정확도 지표의 수학적 범위를 정의함을 보여주며, 특히 $F_\beta$, $F_1$, Fowlkes-Mallows 지수, Matthews 상관계수(MCC) 등의 정확도 지표가 이러한 유병율 범위 내에 있을 경우 특정한 상하한선으로 제한됨을 밝힘. 주요 기여는 $φ_e$에 도달함으로써 계산 비용을 크게 줄이고도 근사 최대 정확도를 확보할 수 있음을 보여주며, 특히 유병율이 낮은 상황에서 유의미함.

ABSTRACT

The accuracy of binary classification systems is defined as the proportion of correct predictions - both positive and negative - made by a classification model or computational algorithm. A value between 0 (no accuracy) and 1 (perfect accuracy), the accuracy of a classification model is dependent on several factors, notably: the classification rule or algorithm used, the intrinsic characteristics of the tool used to do the classification, and the relative frequency of the elements being classified. Several accuracy metrics exist, each with its own advantages in different classification scenarios. In this manuscript, we show that relative to a perfect accuracy of 1, the positive prevalence threshold ($ϕ_e$), a critical point of maximum curvature in the precision-prevalence curve, bounds the $F{_β}$ score between 1 and 1.8/1.5/1.2 for $β$ values of 0.5/1.0/2.0, respectively; the $F_1$ score between 1 and 1.5, and the Fowlkes-Mallows Index (FM) between 1 and $\sqrt{2} \approx 1.414$. We likewise describe a novel $negative$ prevalence threshold ($ϕ_n$), the level of sharpest curvature for the negative predictive value-prevalence curve, such that $ϕ_n$ $>$ $ϕ_e$. The area between both these thresholds bounds the Matthews Correlation Coefficient (MCC) between $\sqrt{2}/2$ and $\sqrt{2}$. Conversely, the ratio of the maximum possible accuracy to that at any point below the prevalence threshold, $ϕ_e$, goes to infinity with decreasing prevalence. Though applications are numerous, the ideas herein discussed may be used in computational complexity theory, artificial intelligence, and medical screening, amongst others. Where computational time is a limiting resource, attaining the prevalence threshold in binary classification systems may be sufficient to yield levels of accuracy comparable to that under maximum prevalence.

연구 동기 및 목표

• 정밀도-유병율 곡선의 최대 곡률의 변곡점이 되는 중요한 유병율 임계값($\phi_e$)을 규명하여, 이 이하에서는 예측 정확도가 급격히 악화됨을 밝힘.
• 음성 예측값-유병율 곡선의 최대 곡률 변곡점으로서 새로운 음성 유병율 임계값($\phi_n$)을 도입하며, 이는 $\phi_n > \phi_e$를 만족함.
• 유병율이 $\phi_e$와 $\phi_n$ 사이에 있을 경우 $F_\beta$, $F_1$, Fowlkes-Mallows 지수, MCC 등의 핵심 정확도 지표에 이론적 상하한을 설정함.
• 최대 정확도와 $φ_e$ 이하의 정확도 비율이 무한대로 발산함을 보여, $φ_e$에 도달하는 것이 신뢰할 수 있는 성능을 확보하는 데 핵심적임을 강조함.
• 최대 유병율을 달성하는 것과 유사한 정확도를 얻을 수 있는 계산 비용이 낮은 대안으로서 $φ_e$에 도달하는 것이 가능함을 제시함.

제안 방법

• 정밀도-유병율 곡선의 변곡점을 이용해 $\phi_e = \frac{\sqrt{1-b}}{\sqrt{a} + \sqrt{1-b}}$를 유도함. 여기서 $a$는 민감도, $b$는 특이도임.
• NPV-유병율 곡선의 변곡점으로서 음성 유병율 임계값 $\phi_n = \frac{\sqrt{b}}{\sqrt{1-a} + \sqrt{b}}$를 도입함.
• 베이즈 정리에 기반해 양성 예측값(PPV)을 유병율의 함수로 표현함: $\rho(\phi) = \frac{a\phi}{a\phi + (1-b)(1-\phi)}$.
• 정밀도 및 NPV 곡선에 $F_\beta$, $F_1$, MCC 지표를 적용하여 $φ_e$와 $φ_n$ 사이의 이론적 상하한을 유도함.
• 최대 정확도와 $φ_e$ 이하의 정확도 비율을 분석하여, 유병율이 감소함에 따라 이 비율이 무한대에 수렴함을 보임.
• 혼동 행렬 기반 지표의 기호적 변환과 해석적 유도를 통해 이론적 상한의 타당성을 검증함.

실험 결과

연구 질문

• RQ1 정밀도-유병율 곡선이 최대 곡률을 보이는 수학적 지점은 무엇이며, 이는 분류 시스템 실패의 임계점으로서 어떻게 정의되는가?
• RQ2 음성 예측값-유병율 곡선은 어떻게 행동하며, 그 변곡점($\phi_n$)은 어떤 의미를 지닌다?
• RQ3 유병율이 $\phi_e$와 $\phi_n$ 사이에 있을 경우 $F_\beta$, $F_1$, Fowlkes-Mallows 지수, MCC의 이론적 상한과 하한은 무엇인가?
• RQ4 유병율이 감소함에 따라 최대 정확도와 $φ_e$ 이하의 정확도 비율은 어떻게 변화하는가?
• RQ5 $φ_e$에 도달하는 것이 자원 제약이 있는 상황에서 최대 정확도를 달성하는 데 있어 계산 비용이 낮은 대체 방법이 될 수 있는가?

주요 결과

• 유병율이 $φ_e$와 $φ_n$ 사이에 있을 경우, $β = 0.5$, $1.0$, $2.0$일 때 각각 $F_\beta$ 점수가 1과 1.8, 1.5, 1.2 사이로 제한됨.
• 동일한 조건에서 $F_1$ 점수는 1과 1.5 사이로 제한됨.
• Fowlkes-Mallows 지수(FM)는 $φ_e$와 $φ_n$이 정의하는 범위 내에서 1과 $\sqrt{2} \approx 1.414$ 사이로 제한됨.
• Matthews 상관계수(MCC)는 유병율이 $φ_e$와 $φ_n$ 사이에 있을 경우 $\sqrt{2}/2 \approx 0.707$과 $\sqrt{2} \approx 1.414$ 사이로 제한됨.
• 유병율이 감소함에 따라 최대 정확도와 $φ_e$ 이하의 정확도 비율이 무한대로 발산함을 보여, 이 임계값 이하에서는 성능이 치명적으로 악화됨.
• $φ_e$에 도달함으로써 최대 유병율일 때와 유사한 정확도를 확보할 수 있으며, 이는 자원이 제한된 환경에서 계산 비용을 크게 줄이는 데 효과적인 대안이 됨.