[論文レビュー] Optimal Binary Classification Beyond Accuracy

Shashank Kumar Singh, Justin Khim|arXiv (Cornell University)|Jul 5, 2021

Imbalanced Data Classification Techniques被引用数 4

ひとこと要約

この論文は、正解率を超えて、誤差行列から導かれる任意の性能指標へとベイズ最適分類器を一般化し、不均衡データ下で確率的分類器が決定的分類器を上回ることを証明する。不均衡の形式的サブタイプとして「均一クラス不均衡」を導入し、k-NN分類における有限標本保証を提供。実世界の不正検出において、確率的しきい値設定がF1スコアを向上させることを示す。

ABSTRACT

The vast majority of statistical theory on binary classification characterizes performance in terms of accuracy. However, accuracy is known in many cases to poorly reflect the practical consequences of classification error, most famously in imbalanced binary classification, where data are dominated by samples from one of two classes. The first part of this paper derives a novel generalization of the Bayes-optimal classifier from accuracy to any performance metric computed from the confusion matrix. Specifically, this result (a) demonstrates that stochastic classifiers sometimes outperform the best possible deterministic classifier and (b) removes an empirically unverifiable absolute continuity assumption that is poorly understood but pervades existing results. We then demonstrate how to use this generalized Bayes classifier to obtain regret bounds in terms of the error of estimating regression functions under uniform loss. Finally, we use these results to develop some of the first finite-sample statistical guarantees specific to imbalanced binary classification. Specifically, we demonstrate that optimal classification performance depends on properties of class imbalance, such as a novel notion called Uniform Class Imbalance, that have not previously been formalized. We further illustrate these contributions numerically in the case of $k$-nearest neighbor classification

研究の動機と目的

• 非正解率指標を用いた不均衡バイナリ分類における有限標本理論的保証の欠如に対処すること。
• 特に、理論的・実践的両面でこれまで区別されていなかった「均一クラス不均衡」を含む、クラス不均衡のサブタイプを形式化すること。
• 一般性能指標を最適化する際、確率的分類器が決定的分類器を上回ることを示すこと。
• 一様損失下での回帰関数推定誤差の観点からレジレットバウンドを導出すること。
• 実世界のクレジットカード不正検出データを用いて理論的発見の実証的検証を提供すること。

提案手法

• 誤差行列から計算される任意の性能指標に対する一般化されたベイズ最適分類器を導出。経験的に検証不能な絶対連続性仮定を緩和する。
• 一般指標下では最適な性能が確率的分類器でのみ保証され、決定的分類器では保証されないことを証明する。
• k-NN性能に顕著な影響を及ぼす不均衡の深刻度を特徴付ける、新規の「均一クラス不均衡」の概念を導入する。
• 回帰関数のL∞-損失推定誤差の観点から、リスクレジレットバウンドを確立する。
• 一般指標下での経験的リスクにおけるしきい値最適化のための効率的なO(n log n)アルゴリズムを提案する。
• F1スコアを指標として用い、クレジットカード不正検出データセット上で、最適な決定的および確率的しきい値設定を用いたk-NNの実証的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 誤差行列から導かれる任意の性能指標へと、ベイズ最適分類器を正解率を超えて一般化できるか？
• RQ2 一般指標下で、確率的分類器が決定的分類器を上回る最適分類において、どのような条件下に置かれるか？
• RQ3 特に「均一クラス不均衡」を含むクラス不均衡の性質が、最適分類性能にどのように影響するか？
• RQ4 非パラメトリック分類器（例：k-NN）が非正解率指標下で得られる有限標本統計的保証は何か？
• RQ5 実際の不均衡データセット（例：クレジットカード不正検出）において、確率的しきい値設定が性能にどの程度向上をもたらすか？

主な発見

• 一般指標下では、確率的分類器が最適な性能を達成可能である一方、決定的分類器は正解率下での最適性であっても、一般指標下では最適ではない可能性がある。
• 経験的に検証不能な絶対連続性仮定を要しない一般化されたベイズ分類器が導出され、理論的頑健性が向上した。
• 「均一クラス不均衡」は、k-NN性能に顕著な影響を及ぼす不均衡のサブタイプとして形式的に定義され、他の不均衡パターンと明確に区別された。
• 回帰関数のL∞-損失推定誤差の観点から有限標本のリスクレジレットバウンドが確立され、アルゴリズム間の性能比較が可能になった。
• 実世界のクレジットカード不正検出において、不均衡比やk値が変化しても、確率的しきい値設定はF1スコアにおいて一貫して決定的しきい値設定を上回った。
• 提案されたO(n log n)アルゴリズムにより、一般指標向けのしきい値最適化が効率的に行えるようになり、大規模データセットへのスケーラビリティが実現された。