[論文レビュー] The PAV algorithm optimizes binary proper scoring rules

Niko Brümmer, Johan A. du Preez|arXiv (Cornell University)|Apr 8, 2013

Imbalanced Data Classification Techniques参考文献 16被引用数 26

ひとこと要約

この論文は、すべての正規二値適正スコアルール（RBPSR）において、Pool-Adjacent-Violators（PAV）アルゴリズムが、事後確率および対数尤度比の両面で、二値パターン認識スコアを最適にキャリブレーションすることを証明している。主な貢献は、PAVが、クラスの事前確率に依存しない形で、単調かつ非パラメトリックな変換として、グローバルに最適なものを提供することにある。

ABSTRACT

There has been much recent interest in application of the pool-adjacent-violators (PAV) algorithm for the purpose of calibrating the probabilistic outputs of automatic pattern recognition and machine learning algorithms. Special cost functions, known as proper scoring rules form natural objective functions to judge the goodness of such calibration. We show that for binary pattern classifiers, the non-parametric optimization of calibration, subject to a monotonicity constraint, can be solved by PAV and that this solution is optimal for all regular binary proper scoring rules. This extends previous results which were limited to convex binary proper scoring rules. We further show that this result holds not only for calibration of probabilities, but also for calibration of log-likelihood-ratios, in which case optimality holds independently of the prior probabilities of the pattern classes.

研究の動機と目的

• 非パラメトリックかつ単調なキャリブレーションのためのPAVアルゴリズムの最適性を確立すること。
• これまで凸適正スコアルールに限定されていた先行結果を拡張し、より広いクラスの正規二値適正スコアルール（RBPSR）に対してもPAVの最適性を証明すること。
• PAVを用いた対数尤度比のキャリブレーションが、ターゲットクラスの事前確率に依存せず最適であることを示し、法医学的および話者識別応用における事前確率フリーなキャリブレーションを可能にすること。
• パラメトリックキャリブレーション手法の評価におけるPAVをゴールドスタンダードベンチマークとして使用する理論的基盤を提供すること。

提案手法

• 正規二値適正スコアルール（RBPSR）の目的関数に基づく、非パラメトリックかつ単調な最適化問題としてのキャリブレーション問題の定式化。
• 正規化密度関数 ρ(η) を用いた積分表現を定義することで、RBPSRの族を定義し、適正スコアルールの性質を保証する。
• PAVアルゴリズムが、単調性制約の下でRBPSR目的関数を最小化する順序回帰問題を解くことを証明する。
• スコア変換の不変性を維持する形で、PAVフレームワークを対数尤度比（LLR）のキャリブレーションに適応する。
• 単調性の下での最適性を活かし、PAVの解をパラメトリックキャリブレーションモデルの評価の基準ベンチマークとして用いる。
• 実運用環境における未観測スコア値への対応のため、PAVマッピングを補間技術を用いて拡張する。

実験結果

リサーチクエスチョン

• RQ1 PAVアルゴリズムは、凸型に限定されない、すべての正規二値適正スコアルールにおいて最適であるか？
• RQ2 PAVを用いた対数尤度比のキャリブレーションは、クラスの事前確率に依存せず最適に可能か？
• RQ3 PAVの非パラメトリックかつ単調な性質は、キャリブレーションにおける情報保持を損なうか？
• RQ4 PAVは、未観測のスコア値を含む実世界のパターン認識システムにどのように実用的に応用できるか？

主な発見

• PAVアルゴリズムは、任意の正規二値適正スコアルール（RBPSR）において、単調かつ非パラメトリックなキャリブレーションのグローバルに最適な解を提供する。
• PAVの最適性は、確率のキャリブレーションにとどまらず、対数尤度比のキャリブレーションに対しても拡張され、ターゲットクラスの事前確率に依存せず最適性を保つ。
• PAV解は、厳密に単調増加な変換の下でのRBPSR目的関数の下界（infitimum）に相当するため、理論的に可能な最も良い単調キャリブレーションである。
• 平坦領域を有し、可逆でないにもかかわらず、PAVは適正スコアルールが一般化された情報測度であることに基づき、関連する情報を保持する。特に対数ルールは交差エントロピーに等しい。
• PAVマッピングの補間により、未観測スコア値への展開が可能となり、パラメトリックキャリブレーションモデルの評価におけるゴールドスタンダードベンチマークとして利用可能である。
• PAVベースの評価フレームワークは、無料のMATLABツールキットとして提供されており、実務におけるキャリブレーション戦略の再現可能性評価を支援する。