[論文レビュー] Prevalence Threshold and bounds in the Accuracy of Binary Classification Systems

Jacques Balayla|arXiv (Cornell University)|Dec 25, 2021

Imbalanced Data Classification Techniques被引用数 4

ひとこと要約

本稿では、感受性（$a$）と特異性（$b$）に基づく感受性閾値（$φ_e$）と、予測値の負の感受性閾値（$φ_n$）を導入し、これらが二値分類の精度指標の数学的制約を定める境界を形成することを示している。$F_\beta$、$F_1$、Fowlkes-Mallows指数、MCCといった精度指標は、有病率がこれらの閾値の間にある場合、明確な上限と下限を持つ。主な貢献は、$φ_e$ に到達することで、計算コストを著しく削減しつつも、最大精度に近い性能を達成できることを示したことである。特に低有病率設定において顕著である。

ABSTRACT

The accuracy of binary classification systems is defined as the proportion of correct predictions - both positive and negative - made by a classification model or computational algorithm. A value between 0 (no accuracy) and 1 (perfect accuracy), the accuracy of a classification model is dependent on several factors, notably: the classification rule or algorithm used, the intrinsic characteristics of the tool used to do the classification, and the relative frequency of the elements being classified. Several accuracy metrics exist, each with its own advantages in different classification scenarios. In this manuscript, we show that relative to a perfect accuracy of 1, the positive prevalence threshold ($ϕ_e$), a critical point of maximum curvature in the precision-prevalence curve, bounds the $F{_β}$ score between 1 and 1.8/1.5/1.2 for $β$ values of 0.5/1.0/2.0, respectively; the $F_1$ score between 1 and 1.5, and the Fowlkes-Mallows Index (FM) between 1 and $\sqrt{2} \approx 1.414$. We likewise describe a novel $negative$ prevalence threshold ($ϕ_n$), the level of sharpest curvature for the negative predictive value-prevalence curve, such that $ϕ_n$ $>$ $ϕ_e$. The area between both these thresholds bounds the Matthews Correlation Coefficient (MCC) between $\sqrt{2}/2$ and $\sqrt{2}$. Conversely, the ratio of the maximum possible accuracy to that at any point below the prevalence threshold, $ϕ_e$, goes to infinity with decreasing prevalence. Though applications are numerous, the ideas herein discussed may be used in computational complexity theory, artificial intelligence, and medical screening, amongst others. Where computational time is a limiting resource, attaining the prevalence threshold in binary classification systems may be sufficient to yield levels of accuracy comparable to that under maximum prevalence.

研究の動機と目的

• 有病率閾値（$\\phi_e$）を特定すること。これは、適合率-有病率曲線の最大曲率の変曲点を示し、それより低い有病率では予測精度が急激に低下する。
• 負の予測値-有病率曲線の最大曲率の変曲点として、新たな負の有病率閾値（$φ_n$）を導入すること。$φ_n > φ_e$ である。
• 有病率が $φ_e$ と $φ_n$ の間にある場合、$F_\beta$、$F_1$、Fowlkes-Mallows指数、MCC といった主要な精度指標の理論的境界を確立すること。
• 最大精度と $φ_e$ より低い有病率における精度の比が無限大に発散することを示し、$φ_e$ に到達することが信頼性の高い性能を達成する上で極めて重要であることを強調すること。
• 有病率を最大化する代替手段として、$φ_e$ に到達することで最大有病率時の精度と同等の性能を得られ、リソース消費を削減できる、計算効率の良い代替手法を提供すること。

提案手法

• 適合率-有病率曲線の変曲点を用いて、感受性（$a$）と特異性（$b$）に基づく有病率閾値 $φ_e = \frac{\sqrt{1-b}}{\sqrt{a} + \sqrt{1-b}}$ を導出する。
• 負の予測値-有病率曲線の変曲点として、負の有病率閾値 $φ_n = \frac{\sqrt{b}}{\sqrt{1-a} + \sqrt{b}}$ を導入する。
• ベイズの定理を用いて、陽性予測値（PPV）を有病率の関数として表現する：$\rho(\phi) = \frac{a\phi}{a\phi + (1-b)(1-\phi)}$。
• 適合率およびNPV曲線に $F_\beta$、$F_1$、MCC を適用し、$φ_e$ と $φ_n$ の間でこれらの指標の理論的境界を導出する。
• 最大精度と $φ_e$ より低い有病率における精度の比を分析し、有病率が低下するにつれて無限大に近づくことを示す。
• 交差表に基づく指標の解析的導出と記号的変換を用いて、理論的境界の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 適合率-有病率曲線が最大曲率を示す数学的点は何か。また、それが分類システムの故障を示す閾値としてどのように定義されるか。
• RQ2 負の予測値-有病率曲線はどのように振る舞い、その変曲点（$φ_n$）の意味は何か。
• RQ3 有病率が $φ_e$ と $φ_n$ の間にある場合、$F_\beta$、$F_1$、Fowlkes-Mallows指数、MCC の理論的上限および下限は何か。
• RQ4 有病率が低下するにつれて、最大精度と $φ_e$ より低い有病率における精度の比はどのように変化するか。
• RQ5 $φ_e$ に到達することが、低有病率設定において最大精度に到達するための計算効率の良い代替手段として機能できるか。

主な発見

• 有病率が $φ_e$ と $φ_n$ の間にある場合、$\beta = 0.5$、$1.0$、$2.0$ のそれぞれに対して $F_\beta$ スコアは 1 から 1.8、1.5、1.2 の間で制限される。
• 同様の条件下で、$F_1$ スコアは 1 から 1.5 の間で制限される。
• Fowlkes-Mallows指数（FM）は、$φ_e$ と $φ_n$ が定める区間内で 1 から $\sqrt{2} \approx 1.414$ の間で制限される。
• MCC は、有病率が $φ_e$ と $φ_n$ の間にある場合、$\sqrt{2}/2 \approx 0.707$ から $\sqrt{2} \approx 1.414$ の間で制限される。
• 有病率が低下するにつれて、最大精度と $φ_e$ より低い有病率における精度の比は無限大に発散する。これは、この閾値より下では性能が崩壊的に低下することを示している。
• $φ_e$ に到達することで、最大有病率時の精度と同等の水準に達することができ、リソース制約のある環境において計算効率の良い代替手段を提供する。