[論文レビュー] Obtaining Calibrated Probabilities from Boosting

Alexandru Niculescu-Mizil, Rich Caruana|arXiv (Cornell University)|Jul 4, 2012

Explainable Artificial Intelligence (XAI)参考文献 17被引用数 155

ひとこと要約

この論文は、特にAdaBoostにおける確率出力の不適合（miscalibration）を調査し、確率推定値を改善するための3つの補正手法—Plattスケーリング、等方回帰、ロジスティック補正—を評価している。Plattスケーリングと等方回帰は、特に決定木スタブなどの弱学習器を用いた場合、確率の適合性を顕著に向上させるが、ロジスティック補正とlog-lossブースティングは複雑なモデルでは性能を発揮しないことが判明した。

ABSTRACT

Boosted decision trees typically yield good accuracy, precision, and ROC area. However, because the outputs from boosting are not well calibrated posterior probabilities, boosting yields poor squared error and cross-entropy. We empirically demonstrate why AdaBoost predicts distorted probabilities and examine three calibration methods for correcting this distortion: Platt Scaling, Isotonic Regression, and Logistic Correction. We also experiment with boosting using log-loss instead of the usual exponential loss. Experiments show that Logistic Correction and boosting with log-loss work well when boosting weak models such as decision stumps, but yield poor performance when boosting more complex models such as full decision trees. Platt Scaling and Isotonic Regression, however, significantly improve the probabilities predicted by

研究の動機と目的

• ブーステッド決定木における確率の不適合という問題に取り組み、二乗誤差および交差エントロピー指標における性能の低下を是正すること。
• AdaBoostが高い精度とAUC性能を示すにもかかわらず、なぜ歪んだ確率推定値を生成するのかを解明すること。
• Plattスケーリング、等方回帰、ロジスティック補正という3つの補正手法が、確率の不適合を是正する効果を評価すること。
• ブースティングフレームワークにおいて指数損失の代わりにlog-lossを使用することで、モデル出力の内因的な適合性が向上するかを検証すること。
• 各補正手法が最適に機能する条件を特定すること、特にベースラーナーの複雑さとの関係を明らかにすること。

提案手法

• AdaBoostの出力スコアの挙動を分析することで、確率歪みの根本的要因を実験的に特定する。
• Plattスケーリングを適用する。これは、原始スコアを補正確率にマップするためのパrametric手法であり、シグモイド関数をフィッティングする。
• 等方回帰を適用する。これは、スコアに対して非減少の区分的定数関数をフィッティングする非パラメトリック手法である。
• ロジスティック補正を実装する。これは、ブースティングモデルの出力をもとにロジスティック回帰を再推定することで確率を補正する手法である。
• トレーニング中に指数損失の代わりにlog-lossを使用するようにブースティングアルゴリズムを変更し、内因的な確率適合性を向上させる。
• Brierスコアやlog-lossといった指標を用いて、複数のデータセットで全手法の適合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ブースティングモデル（例：AdaBoost）は、高い識別性能を示すにもかかわらず、なぜ不適合な確率推定値を生成するのか？
• RQ2 Plattスケーリング、等方回帰、ロジスティック補正は、ブースティングアルゴリズムの確率出力の適合性をどれほど是正できるか？
• RQ3 ブースティングフレームワークにおいて指数損失の代わりにlog-lossを使用することで、モデル出力の内因的な適合性が向上するか？
• RQ4 ベースラーナーの複雑さ（例：決定木スタブ対完全な決定木）は、異なる補正手法の性能にどのように影響するか？
• RQ5 どのような条件下で、Plattスケーリングや等方回帰がロジスティック補正やlog-lossブースティングを上回るのか？

主な発見

• Plattスケーリングと等方回帰は、特に決定木スタブなどの弱学習器を用いた場合、ブースティングが生成する確率推定値の適合性を顕著に向上させる。
• ロジスティック補正とlog-lossブースティングは、弱いモデルをブースティングする際には良好な性能を示すが、完全な決定木のようなより複雑なモデルに適用すると性能が低下する。
• 指数損失を用いた元のAdaBoostアルゴリズムは、重度の確率不適合を示し、Brierスコアが高く、log-loss性能も著しく劣る。
• 非線形の決定境界を示すデータセットでは、等方回帰がPlattスケーリングよりも適合性の観点で一般的に優れている。
• 補正手法の選択は、ベース推定器の複雑さに従って決定すべきであり、より強いモデルではより強固な補正手法を要する。
• 実験結果から、等方回帰による後処理により、未補正のAdaBoost出力と比較してBrierスコアを最大50％まで低減できることが示された。