[論文レビュー] AUC: Nonparametric Estimators and Their Smoothness.

Waleed A. Yousef|arXiv (Cornell University)|Jul 30, 2019

Advanced Statistical Methods and Models参考文献 20被引用数 5

ひとこと要約

本稿では、ブートストラップなどのリサンプリング手法を用いたAUC推定の統一的非パラメトリックフレームワークを提示する。従来の誤差率推定に用いられてきた技術を拡張したものであり、AUC推定子が誤差率推定子と類似した挙動を示すことが示された。特に、.632+ブートストラップは正確性においてわずかに優れており、真の条件付きAUCと弱い相関を示す。

ABSTRACT

Nonparametric estimation of a statistic, in general, and of the error rate of a classification rule, in particular, from just one available dataset through resampling is well mathematically founded in the literature using several versions of bootstrap and influence function. This article first provides a concise review of this literature to establish the theoretical framework that we use to construct, in a single coherent framework, nonparametric estimators of the AUC (a two-sample statistic) other than the error rate (a one-sample statistic). In addition, the smoothness of some of these estimators is well investigated and explained. Our experiments show that the behavior of the designed AUC estimators confirms the findings of the literature for the behavior of error rate estimators in many aspects including: the weak correlation between the bootstrap-based estimators and the true conditional AUC; and the comparable accuracy of the different versions of the bootstrap estimators in terms of the RMS with little superiority of the .632+ bootstrap estimator.

研究の動機と目的

• 誤差率の推定にこれまで用いられてきた非パラメトリックリサンプリングベースの推定手法を、2標本統計であるAUCへと拡張すること。
• インパクト関数とブートストラップ技術を用いたAUC推定の整合的な理論的枠組みを確立すること。
• 非パラメトリックAUC推定子の滑らかさ特性を調査すること。
• 正確性および真のAUCとの相関という観点から、さまざまなブートストラップベースのAUC推定子の実証的性能を評価すること。

提案手法

• インパクト関数理論とブートストラップリサンプリングを応用し、AUCの非パラメトリック推定子を構築すること。
• AUC推定子を経験的分布の汎関数として定式化し、AUCの2標本性を活用すること。
• 標準的ブートストラップ、.632、および.632+ブートストラップ手法を用いて、1つのデータセットからAUCを推定すること。
• 理論的導出と漸近的性質を通じて、推定子の滑らかさを分析すること。
• モンテカルロ実験を用いて、平均二乗誤差（RMS誤差）の観点から推定子の性能を比較すること。
• ブートストラップベースのAUC推定値と真の条件付きAUCとの相関を評価すること。

実験結果

リサーチクエスチョン

• RQ1 誤差率推定に用いられてきた非パラメトリックリサンプリング手法を、2標本統計たるAUCへとどのように拡張できるか。
• RQ2 リサンプリング下での非パラメトリックAUC推定子の理論的滑らかさ挙動はいかなるものか。
• RQ3 さまざまなブートストラップバージョン（例：.632+、.632）は、AUC推定において正確性の観点でどのように比較できるか。
• RQ4 ブートストラップベースのAUC推定値と真の条件付きAUCとの間に、どの程度弱い相関が存在するか。
• RQ5 AUC推定子の実証的挙動は、先行研究における誤差率推定子の挙動と類似しているか。

主な発見

• 提案されたフレームワークは、非パラメトリックリサンプリング手法を誤差率からAUC推定へと統一的に拡張することに成功した。
• 非パラメトリックAUC推定子の滑らかさは、理論的期待と整合的に良好に特徴づけられている。
• ブートストラップベースのAUC推定子は真の条件付きAUCと弱い相関を示し、誤差率推定の文献で得られた結果を確認した。
• .632+ブートストラップ推定子は、平均二乗誤差（RMS誤差）の観点から他のブートストラップバージョンよりもわずかに高い正確性を示した。
• AUC推定のための異なるブートストラップバージョンは、正確性において類似しており、.632+手法はわずかだが一貫した優位性を示した。
• 実証的結果から、AUC推定子が誤差率推定子と同様の重要な統計的性質を示すことが確認され、既存理論の拡張が妥当であることが裏付けられた。