[論文レビュー] Regression Diagnostics meets Forecast Evaluation: Conditional Calibration, Reliability Diagrams, and Coefficient of Determination

Tilmann Gneiting, Johannes Resin|arXiv (Cornell University)|Aug 6, 2021

Forecasting Techniques and Applications参考文献 90被引用数 9

ひとこと要約

本稿は、回帰診断と予測評価を結びつけることで、回帰および予測におけるキャリブレーション評価の統一的フレームワークを提示する。T-信頼性図、誤差（MCB）、識別力（DSC）、不確実性（UNC）へのスコア分解、および任意の識別可能な関数的Tに対して一般化される[0,1]に値をとる普遍的決定係数R∗ ∈ [0,1]を提案する。非パラメトリックな等単調回帰とpool-adjacent-violators（PAV）アルゴリズムを用いた安定な推定が可能である。

ABSTRACT

Model diagnostics and forecast evaluation are two sides of the same coin. A common principle is that fitted or predicted distributions ought to be calibrated or reliable, ideally in the sense of auto-calibration, where the outcome is a random draw from the posited distribution. For binary responses, this is the universal concept of reliability. For real-valued outcomes, a general theory of calibration has been elusive, despite a recent surge of interest in distributional regression and machine learning. We develop a framework rooted in probability theory, which gives rise to hierarchies of calibration, and applies to both predictive distributions and stand-alone point forecasts. In a nutshell, a prediction - distributional or single-valued - is conditionally T-calibrated if it can be taken at face value in terms of the functional T. Whenever T is defined via an identification function - as in the cases of threshold (non) exceedance probabilities, quantiles, expectiles, and moments - auto-calibration implies T-calibration. We introduce population versions of T-reliability diagrams and revisit a score decomposition into measures of miscalibration (MCB), discrimination (DSC), and uncertainty (UNC). In empirical settings, stable and efficient estimators of T-reliability diagrams and score components arise via nonparametric isotonic regression and the pool-adjacent-violators algorithm. For in-sample model diagnostics, we propose a universal coefficient of determination, $$ ext{R}^\ast = \frac{ ext{DSC}- ext{MCB}}{ ext{UNC}},$$ that nests and reinterprets the classical $ ext{R}^2$ in least squares (mean) regression and its natural analogue $ ext{R}^1$ in quantile regression, yet applies to T-regression in general, with MCB $\geq 0$, DSC $\geq 0$, and $ ext{R}^\ast \in [0,1]$ under modest conditions.

研究の動機と目的

• キャリブレーションの共通原理を通じて、回帰診断と予測評価を統合すること。
• 予測分布および点予測の条件付きキャリブレーションに関する厳密な理論的枠組みを構築すること。
• 平均、分位数、期待値など、任意の識別可能な関数的Tに対して、決定係数R²を一般化すること。
• 非パラメトリックな等単調回帰を用いて、実用的で安定的かつ再現可能なキャリブレーション評価ツールを提供すること。
• 多様な予測タイプに適用可能な、MCB、DSC、UNCへのスコア分解による一貫性のある予測品質評価を可能にすること。

提案手法

• 確率論と関数的依存性に基づき、自己キャリブレーション、強化しきい値キャリブレーション、条件付きキャリブレーション、および周辺キャリブレーションの階層的キャリブレーション概念を提案する。
• 予測分布の関数的Tの予測値が、予測の下で期待値として観測値と一致する条件としてT-キャリブレーションを定義する。
• 非パラメトリックな等単調回帰を用いて、観測T値を予測T値に対して回帰することで、母集団および標本T-信頼性図を構築する。
• 再キャリブレーションされたT値の推定に、pool-adjacent-violators（PAV）アルゴリズムを適用し、単調性と安定性を保証する。
• スコア分解：平均スコア = MCB − DSC + UNC を導出する。ここで、MCB ≥ 0、DSC ≥ 0、UNC > 0 である。
• 普遍的決定係数 R∗ = (DSC − MCB) / UNC を提案する。これは、R²とR₁を一般化し、弱い正則性条件のもとで[0,1]に値をとる。

実験結果

リサーチクエスチョン

• RQ1 平均、分位数、期待値など、異なる関数的T（例えば、平均、分位数、期待値）に対して、予測分布および点予測のキャリブレーションを一貫して定義・評価する方法は何か？
• RQ2 自己キャリブレーションとT-キャリブレーションの理論的関係は何か？また、自己キャリブレーションがいつT-キャリブレーションを意味するのか？
• RQ3 一貫性のあるスコア関数フレームワークにおいて、誤差、識別力、不確実性を一貫して分解できるか？
• RQ4 任意の識別可能な関数的Tに対して、R²とR₁を一般化する普遍的決定係数R∗を定義できるか？
• RQ5 実応用状況において、T-信頼性図およびスコア成分の信頼性が高く、安定的かつ再現可能な推定器を構築する方法は何か？

主な発見

• 提案された決定係数R∗は、最小二乗回帰における古典的R²および分位数回帰におけるR₁を一般化し、弱い正則性条件のもとで[0,1]に有界である。
• T-信頼性図は、観測T値を予測T値に対して非パラメトリックな等単調回帰で回帰することで構築され、安定的かつ再現可能な推定を保証する。
• 任意の一貫性のあるスコア関数に対して、スコア分解S̄ = MCB − DSC + UNCが成立し、MCB ≥ 0、DSC ≥ 0、UNC > 0 である。
• 平均関数的Tに対しては、MCB成分が平均二乗誤差（MSE）から識別力成分を差し引いたものに相当し、R∗は説明変動の割合を捉える。
• CORP（一貫性・最適性・再現性・PAVに基づく）アプローチによるT-信頼性図およびスコア成分の標本推定は、統計的効率性、再現性、安定性を保証する。
• 本フレームワークは、二値事象確率、分位数、モーメント、期待値を含む任意の識別可能な関数的Tに普遍的に適用可能であり、予測生成手法に依存しない。