[論文レビュー] Binary Classifier Calibration: Non-parametric approach

Mahdi Pakdaman Naeini, Gregory F. Cooper+1 more|arXiv (Cornell University)|Jan 14, 2014

Bayesian Methods and Mixture Models参考文献 13被引用数 3

ひとこと要約

本論文は、二値分類器のキャリブレーションのための非パラメトリックなヒストグラム・ビニング手法を提案し、理論的に大標本極限において完全なキャリブレーションを達成することを示している。同時に、識別性能（AUC）を維持または向上させる。この手法は、ビニングを密度に基づく非パラメトリック分類器として扱い、カーネル密度推定を用いて拡張することで、合成および実データセットにおいて既存のキャリブレーション手法を上回るか同等の性能を示した。

ABSTRACT

Accurate calibration of probabilistic predictive models learned is critical for many practical prediction and decision-making tasks. There are two main categories of methods for building calibrated classifiers. One approach is to develop methods for learning probabilistic models that are well-calibrated, ab initio. The other approach is to use some post-processing methods for transforming the output of a classifier to be well calibrated, as for example histogram binning, Platt scaling, and isotonic regression. One advantage of the post-processing approach is that it can be applied to any existing probabilistic classification model that was constructed using any machine-learning method. In this paper, we first introduce two measures for evaluating how well a classifier is calibrated. We prove three theorems showing that using a simple histogram binning post-processing method, it is possible to make a classifier be well calibrated while retaining its discrimination capability. Also, by casting the histogram binning method as a density-based non-parametric binary classifier, we can extend it using two simple non-parametric density estimation methods. We demonstrate the performance of the proposed calibration methods on synthetic and real datasets. Experimental results show that the proposed methods either outperform or are comparable to existing calibration methods.

研究の動機と目的

• 二値分類器の後処理キャリブレーション手法、特にヒストグラム・ビニングを理論的に正当化し、有効で妥当なアプローチであることを示すこと。
• ヒストグラム・ビニングが大標本極限において完全なキャリブレーションを達成でき、識別性能（AUC）を低下させないことを示すこと。
• 非パラメトリック密度推定技術を用いてヒストグラム・ビニングを拡張し、キャリブレーションのロバストネスを向上させること。
• 任意の事前に訓練された確率的分類器に適用可能なモデルに依存しない手法を提供すること。
• 実験的に、提案手法がキャリブレーションを著しく改善しながらも、AUCを維持または向上させることを示すこと。

提案手法

• この手法は、等頻度ヒストグラム・ビニングを用いて分類器出力をグループ化し、各ビンに対してそのビン内での陽性結果の経験的頻度に基づき補正された確率を割り当てる。
• ヒストグラム・ビニングを密度に基づく非パラメトリック分類器として再解釈し、カーネル密度推定を組み合わせることで滑らかな確率推定が可能になる。
• 理論的分析により、独立同分布（i.i.d.）の仮定の下で、キャリブレーションによって生じるAUC損失がO(1/B)で有界であることを証明した。ここでBはビンの数である。
• 集中不等式およびチェビシェフの和の不等式を用いて、最悪ケースのAUC劣化を有界化した。
• このアプローチは、元の学習アルゴリズムを変更することなく、任意の既存の分類器に対して後処理として適用可能である。
• 経験的リスク最小化の原則を用いて、キャリブレーションを保証するとともに、元のモデルの識別力の維持を図った。

実験結果

リサーチクエスチョン

• RQ1 等頻度ヒストグラム・ビニングのような非パラメトリック後処理手法は、大標本極限において完全なキャリブレーションを達成できるか？
• RQ2 ヒストグラム・ビニングは、キャリブレーションの過程で元の分類器のAUCを維持または向上できるか？
• RQ3 提案手法は、プラットスケーリングや等方的回帰といったパラメトリックキャリブレーション手法と比較してどうなるか？
• RQ4 ヒストグラム・ビニングは非パラメトリック密度推定を用いて拡張可能で、キャリブレーション品質を向上させられるか？
• RQ5 キャリブレーションプロセスによって生じるAUC損失の理論的上限は何か？

主な発見

• 提案されたヒストグラム・ビニング手法は、大標本極限において完全なキャリブレーションを達成し、キャリブレーション品質に理論的保証がある。
• AUC損失は、ビン数Bを用いてO(1/B)で有界であり、識別性能の劣化を最小限に抑える。
• 実験的結果から、合成および実世界のデータセットにおいて、既存のキャリブレーション手法を上回るか同等の性能を示した。
• 一部のケースでは、線形SVMに適用した場合にAUCが維持または向上しており、AUCの向上の可能性を示唆している。
• 理論的分析により、AUCが低下しないことが確認され、多くの場合、AUCは変化せず、あるいは向上した。
• カーネル密度推定を用いた拡張により、標準的なビニングよりも滑らかな確率推定が得られ、キャリブレーション性能が向上した。