[論文レビュー] Probability Calibration Trees

Tim Leathart, Eibe Frank+2 more|arXiv (Cornell University)|Jul 31, 2018

Machine Learning and Data Classification被引用数 10

ひとこと要約

本稿では、ロジスティックモデルツリーを用いて入力空間の異なる領域で局所的キャリブレーションモデルを学習することにより、確率キャリブレーションを向上させる確率キャリブレーションツリーという手法を提案する。プラットスケーリングや等方的回帰といったグローバル手法よりも優れており、複数のベースラーナーにおいて顕著に低い平均二乗誤差を達成する。

ABSTRACT

Obtaining accurate and well calibrated probability estimates from classifiers is useful in many applications, for example, when minimising the expected cost of classifications. Existing methods of calibrating probability estimates are applied globally, ignoring the potential for improvements by applying a more fine-grained model. We propose probability calibration trees, a modification of logistic model trees that identifies regions of the input space in which different probability calibration models are learned to improve performance. We compare probability calibration trees to two widely used calibration methods---isotonic regression and Platt scaling---and show that our method results in lower root mean squared error on average than both methods, for estimates produced by a variety of base learners.

研究の動機と目的

• すべての入力領域にわたって一様なキャリブレーションを仮定するグローバル確率キャリブレーション手法の制限を解消すること。
• 高次元の入力空間における領域固有のキャリブレーションモデルを学習することで、キャリブレーションの正確性を向上させること。
• 従来のキャリブレーション技術と比較して、確率推定における平均二乗誤差（RMSE）を低減すること。
• ナイーブベイズ、ブーストドスタム、SVMsといった多様なベース分類器において、局所的キャリブレーションモデルの有効性を評価すること。

提案手法

• 本手法は、元の予測子属性に基づいて入力空間を再帰的に分割するロジスティックモデルツリーを用いる。
• 各リーフノードでは、ベースラーナーの出力スコアを用いて局所的なロジスティック回帰モデルを訓練する。
• ツリー構造により、入力空間の異なる領域で異なるキャリブレーション関数を学習できる。
• 推論では、適切なリーフに到達するまでツリーをたどり、対応するロジスティック回帰モデルをベースラーナーのスコアに適用する。
• 各ノードでのロジスティックモデルの訓練に独立したキャリブレーションデータセットを用いることで、過学習を回避する。
• RMSEと信頼性図を用いて、プラットスケーリングや等方的回帰と比較してキャリブレーション品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 局所的確率キャリブレーションモデルは、プラットスケーリングや等方的回帰といったグローバル手法を上回ることができるか？
• RQ2 入力空間を領域に分割し、領域固有のキャリブレーションを適用することで、全体の確率キャリブレーション性能が向上するか？
• RQ3 ナイーブベイズ、ブーストドスタム、SVMsといった異なるベース分類器において、確率キャリブレーションツリーの性能はどのように変化するか？
• RQ4 信頼性図において、確率キャリブレーションツリーは従来の手法と比較して、より優れたキャリブレーション行動を示すか？
• RQ5 どのような条件下で、本手法がグローバルキャリブレーション技術よりもRMSEをより効果的に低減するか？

主な発見

• 確率キャリブレーションツリーは、すべてのベースラーナーの平均で、プラットスケーリングおよび等方的回帰よりも顕著に低い平均二乗誤差（RMSE）を達成した。
• ナイーブベイズでは、プラットスケーリングとの比較で32回中27回勝利（p値 < 0.00001）、等方的回帰との比較で32回中23回勝利（p値 = 0.000088）を記録した。
• ブーストドスタムでは、プラットスケーリングとの比較で32回中11回勝利（p < 0.001）、等方的回帰との比較で32回中8回勝利（p < 0.005）を記録した。
• 信頼性図では、確率キャリブレーションツリーが滑らかで対角線に沿った曲線を生成しており、優れたキャリブレーションを示したのに対し、等方的回帰は粗い曲線を示し、プラットスケーリングは元の分類器のキャリブレーション不備の形状を保持していた。
• 確率キャリブレーションツリーがルートノードに刈り込まれた場合、プラットスケーリングと同等の性能を示したため、局所構造が存在しない場合にはグローバルキャリブレーションが十分であることが示された。
• 本手法は、『sick』や『kr-vs-kp』といった不均衡データセットを含む多様なデータセットとベースラーナーにおいて一貫した改善を示した。