[論文レビュー] Neyman-Pearson (NP) classification algorithms and NP receiver operating characteristic (NP-ROC) curves

Xin Tong, Yang Feng+1 more|arXiv (Cornell University)|Aug 10, 2016

Imbalanced Data Classification Techniques被引用数 4

ひとこと要約

本論文は、ロジスティック回帰、SVM、ランダムフォレストなどの一般的な手法において、タイプI誤り率の制御を可能にする、ネイマン＝ピアソン（NP）分類のための最初の一般化されたアンブレラアルゴリズムを導入する。タイプI誤り率の制御が保証される条件下で分類器を比較するための新しい評価ツールとしてNP-ROC曲線を提案し、理論的サンプルサイズ要件とRパッケージnprocの実装を併記する。

ABSTRACT

In many binary classification applications such as disease diagnosis and spam detection, practitioners often face great needs to control type I errors (e.g., chances of missing a malignant tumor) under a desired threshold. To address such needs, a natural framework is the Neyman-Pearson (NP) classification paradigm, which installs some upper bound $\alpha$ on population type I errors before minimizing population type II errors. However, common practices that directly control empirical type I errors under $\alpha$ do not satisfy the type I error control objective, as the resulting classifiers are likely to have population type I errors much larger than $\alpha$. As a result, the NP paradigm has not been probably implemented for many classification scenarios in practice. In this work, we develop the first and general umbrella algorithm that implements the NP paradigm for popular classification methods, including logistic regression, support vector machines, and random forests. For this algorithm, we also suggest the minimum sample size required for controlling the population type I error with high probability. Powered by this umbrella algorithm, we propose a novel evaluation metric for the NP classification methods: the NP receiver operating characteristic (NP-ROC) curve, a variant of the popular receiver operating characteristic (ROC) curve. Despite its conceptual simplicity and wide applicability, the ROC curve lacks information on how to choose a classifier or compare different classifiers whose population type I errors are under a desired threshold with high probability. In contrast, the NP-ROC curve will serve as a new effective tool to evaluate, compare and select binary classifiers aiming for population type I error control. We demonstrate the use and properties of the NP umbrella algorithm and NP-ROC, available in R package nproc, through simulation and real data case studies.

研究の動機と目的

• 実証的境界があるにもかかわらず、母集団におけるタイプI誤り率の制御に失敗するため、ネイマン＝ピアソン（NP）分類パラダイムの実用的実装が不足しているという問題に対処すること。
• ロジスティック回帰、サポートベクターマシン、ランダムフォレストなどの広く使われる手法にNP分類を可能にする一般化されたアンブレラアルゴリズムを開発すること。
• 母集団におけるタイプI誤り率の高確率制御を保証するための最小サンプルサイズ要件を確立すること。
• タイプI誤り率の制御が保証される条件下でNP分類器の比較と選択を可能にする、新しい評価指標としてNP-ROC曲線を提案すること。
• NP分類の実用的かつ実装可能なフレームワークを提供し、実世界への展開を可能にするRパッケージ（nproc）を整備すること。

提案手法

• 標準分類器を、母集団におけるタイプI誤り率制約を強制することでNP分類器に変換するアンブレラアルゴリズムを設計する。この制約は制約付き最適化によって実現される。
• 経験的リスク最小化に、経験的タイプI誤り率に対する制約を組み込むことで、母集団におけるタイプI誤り率が高確率でユーザー指定のしきい値α未満に保たれることを保証する。
• 濃度不等式と仮説クラスの複雑さに基づいて、高確率でのタイプI誤り率制御を達成するための理論的最小サンプルサイズを導出する。
• NP-ROC曲線を、標準のROC曲線の変種として導入し、各点が母集団におけるタイプI誤り率 ≤ α を満たす分類器に対応する。
• アンブレラアルゴリズムとNP-ROC評価をRパッケージnprocに実装し、実データ応用におけるエンドツーエンドの利用を可能にする。
• シミュレーションと実世界の事例研究を通じて、多様な分類タスクにおいて、本手法の頑健性と実用的有用性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ロジスティック回帰、SVM、ランダムフォレストなどの標準分類手法において、母集団におけるタイプI誤り率の制御を保証する一般化されたアンブレラアルゴリズムを開発できるか？
• RQ2 NPパラダイム下で、母集団におけるタイプI誤り率の高確率制御を達成するための最小サンプルサイズは何か？
• RQ3 タイプI誤り率が制約されている状況で、NP-ROC曲線はNP分類器の評価と比較をどのように効果的に行えるか？
• RQ4 アンブレラアルゴリズムは、標準的な経験的誤り率制御手法に比べて、母集団におけるタイプI誤り率を所定のしきい値以下に保つ点でどの程度優れているか？
• RQ5 タイプI誤り率の制約がある状況で、NP-ROC曲線は標準のROC曲線に比べて、分類器選択をどのように改善するか？

主な発見

• 提案されたアンブレラアルゴリズムは、経験的タイプI誤り率が制約されている場合でも、母集団におけるタイプI誤り率が高確率で所定のしきい値α未満に保たれることを実証した。
• 信頼水準と分類器の複雑さに依存するが、信頼性のあるタイプI誤り率制御を達成するための最小サンプルサイズが理論的に導出され、その妥当性が示された。
• NP-ROC曲線は、母集団におけるタイプI誤り率制約下でのタイプI誤りとタイプII誤りのトレードオフを効果的に可視化し、分類器の意思決定を支援する。
• シミュレーションおよび実データの研究により、アンブレラアルゴリズムがタイプI誤り率を制御しながらタイプII誤りを最小限に抑えることが示され、標準的な経験的制御手法を上回ることが確認された。
• Rパッケージnprocは、NPアンブレラアルゴリズムとNP-ROC評価の実用的かつアクセスしやすい実装を提供し、実世界応用への採用を促進する。
• NP-ROC曲線は、標準のROC曲線が保証されたタイプI誤り率制御を考慮していないため、NP分類において誤解を招く可能性があるのに対し、NP-ROCはその欠点を補い、より適切な評価を可能にしている。