[論文レビュー] Non-Parametric Calibration of Probabilistic Regression

Hao Song, Meelis Kull+1 more|arXiv (Cornell University)|Jun 20, 2018

Neural Networks and Applications参考文献 2被引用数 3

ひとこと要約

本稿では、回帰モデルから導出される累積分布関数（CDF）のキャリブレーションを通じて、予測密度推定を向上させる非パラメトリックキャリブレーション手法を提案する。2つの経験的アプローチ（e-logisticおよびe-beta）と、ガウス過程分類器を用いた手法（GPC）を導入し、滑らかなキャリブレーション関数を学習する。これにより、ターゲット分布のパラメトリックな形を仮定することなく、予測尤度の向上が顕著に達成される。

ABSTRACT

The task of calibration is to retrospectively adjust the outputs from a machine learning model to provide better probability estimates on the target variable. While calibration has been investigated thoroughly in classification, it has not yet been well-established for regression tasks. This paper considers the problem of calibrating a probabilistic regression model to improve the estimated probability densities over the real-valued targets. We propose to calibrate a regression model through the cumulative probability density, which can be derived from calibrating a multi-class classifier. We provide three non-parametric approaches to solve the problem, two of which provide empirical estimates and the third providing smooth density estimates. The proposed approaches are experimentally evaluated to show their ability to improve the performance of regression models on the predictive likelihood.

研究の動機と目的

• 確率的回帰におけるキャリブレーションを定義・形式化し、分類から連続的ターゲット変数へ概念を拡張すること。
• 回帰モデルが誤った分布的仮定（例：正規誤差）を行う場合に、確率密度推定を改善する課題に取り組むこと。
• ターゲット変数の真の分布族についての事前知識を必要としない非パラメトリックキャリブレーション技術を開発すること。
• 後処理による予測CDFのキャリブレーションが、よりキャリブレートされたかつ正確な密度推定をもたらすかを評価すること。
• 多様な回帰データセットおよび設定において、経験的キャリブレーション（e-logistic、e-beta）と滑らかな非パラメトリックGPCベースのアプローチの性能を比較すること。

提案手法

• 予測密度の累積分布関数（CDF）に対してキャリブレーションを実施し、キャリブレートされたCDFとキャリブレートされた密度関数の間の関係を活用する。
• 分類から回帰へ適応した2つの経験的キャリブレーション手法（e-logisticおよびe-beta）を提案し、1対すべてのCDF予測を用いてロジスティックおよびベータキャリブレーションを回帰に適用する。
• GPCベースの手法は、予測CDF値上に滑らかで非パラメトリックなキャリブレーション関数を学習するガウス過程分類器を用い、連続的かつ柔軟な補正を可能にする。
• 連続的なCDFを離散化するために、8～64個の離散的ターゲット値の集合を用い、予測値をこれらの値にマップして学習に使用する。
• GPCの場合は、計算効率を維持するため、ベースモデルから最大5,000個のCDF値を学習に使用するが、これは大規模なターゲット集合では性能を低下させる可能性がある。
• 密度関数にパラメトリックな仮定をしないため、複雑で未知、または非正規分布のターゲット分布に対しても適している。

実験結果

リサーチクエスチョン

• RQ1 分類から得られるキャリブレーションの概念を、連続的ターゲットを持つ確率的回帰に意味的に拡張できるか？
• RQ2 累積分布関数（CDF）のキャリブレーションが、よりキャリブレートされたかつ正確な条件付き密度推定をもたらすか？
• RQ3 経験的キャリブレーション手法（e-logistic、e-beta）と滑らかで非パラメトリックなGPCベースのアプローチの間で、予測尤度の向上にどのような差が生じるか？
• RQ4 離散化されたターゲット値の数がキャリブレーション性能に与える影響は何か？
• RQ5 標準的回帰モデル（例：OLS）における分布的仮定の不一致（例：正規誤差）をキャリブレーションが是正できるか？

主な発見

• 提案されたキャリブレーション手法は、未キャリブレーションモデルと比較して一貫して予測尤度を向上させ、特にGPCベースの手法が多数のデータセットおよび設定で最良の性能を示した。
• e-beta手法は、非シグモイド型キャリブレーション関数をモデル化できる点から、e-logisticよりも多くの場合で優れた性能を示した。これは、複雑な密度形状をより正確に捉える能力に起因する。
• 経験的手法（e-logistic、e-beta）の性能は、ターゲット値の数が多い（例：64）場合に低下する傾向があり、これは経験的推定による分散の増大と過学習の可能性に起因する。
• GPC手法は、ターゲット値の数が多い場合に優れた性能を示すが、64個の値では5,000個のCDFサンプルのみを用いるため性能が低下する傾向にあり、速度と正確さのトレードオフが顕在化している。
• ターゲット値が非常に少ない（例：8）設定では、キャリブレーション手法が未キャリブレーションモデルを下回る性能を示すことがあり、CDF情報が不十分であるため、有効な学習が制限される。
• 結果から、真の分布が不明または誤って指定されている場合でも、CDFの非パラメトリックキャリブレーションは再訓練や再モデル化の代替として実用的かつ効果的であることが確認された。