[논문 리뷰] Regression Diagnostics meets Forecast Evaluation: Conditional Calibration, Reliability Diagrams, and Coefficient of Determination

Tilmann Gneiting, Johannes Resin|arXiv (Cornell University)|2021. 08. 06.

Forecasting Techniques and Applications참고 문헌 90인용 수 9

한 줄 요약

이 논문은 회귀 및 예측의 校정성 평가를 위한 통합 프레임워크를 제안하며, 회귀 진단과 예측 평가를 연결한다. T-신뢰도 다이어그램, 오차(모수 불일치, MCB), 분별력(분류력, DSC), 불확실성(UNC)으로 분해된 점수, 그리고 임의의 식별 가능한 기능 T에 대해 일반화된 계수 결정률 R∗ ∈ [0,1]을 제안한다. 이는 비모수 등온 회귀와 풀-이웃-위반자 알고리즘을 통해 안정적으로 추정 가능하다.

ABSTRACT

Model diagnostics and forecast evaluation are two sides of the same coin. A common principle is that fitted or predicted distributions ought to be calibrated or reliable, ideally in the sense of auto-calibration, where the outcome is a random draw from the posited distribution. For binary responses, this is the universal concept of reliability. For real-valued outcomes, a general theory of calibration has been elusive, despite a recent surge of interest in distributional regression and machine learning. We develop a framework rooted in probability theory, which gives rise to hierarchies of calibration, and applies to both predictive distributions and stand-alone point forecasts. In a nutshell, a prediction - distributional or single-valued - is conditionally T-calibrated if it can be taken at face value in terms of the functional T. Whenever T is defined via an identification function - as in the cases of threshold (non) exceedance probabilities, quantiles, expectiles, and moments - auto-calibration implies T-calibration. We introduce population versions of T-reliability diagrams and revisit a score decomposition into measures of miscalibration (MCB), discrimination (DSC), and uncertainty (UNC). In empirical settings, stable and efficient estimators of T-reliability diagrams and score components arise via nonparametric isotonic regression and the pool-adjacent-violators algorithm. For in-sample model diagnostics, we propose a universal coefficient of determination, $$ ext{R}^\ast = \frac{ ext{DSC}- ext{MCB}}{ ext{UNC}},$$ that nests and reinterprets the classical $ ext{R}^2$ in least squares (mean) regression and its natural analogue $ ext{R}^1$ in quantile regression, yet applies to T-regression in general, with MCB $\geq 0$, DSC $\geq 0$, and $ ext{R}^\ast \in [0,1]$ under modest conditions.

연구 동기 및 목표

• 교정성의 공통 원칙을 통해 회귀 진단과 예측 평가를 통합하기 위해.
• 예측 분포와 점 추정치의 조건부 교정성에 대한 엄밀한 이론적 프레임워크를 개발하기 위해.
• 모든 식별 가능한 기능 T(예: 평균, 분위수, 기대값 등)에 대해 계수 결정률 R²를 일반화하기 위해.
• 비모수 등온 회귀를 통해 안정적이고 재현 가능한 실증적 교정성 평가 도구를 제공하기 위해.
• 다양한 예측 유형에 적용 가능한 MCB, DSC, UNC로 분해된 점수를 통한 일관된 예측 품질 평가를 가능하게 하기 위해.

제안 방법

• 확률 이론과 기능적 종속성에 기반한 교정성 개념의 계층—자기교정성, 강한 임계값 교정성, 조건부 교정성, 마진 교정성—을 제안한다.
• 예측 분포의 예측 기능 T가 예측 조건 하에서 관측 결과의 기대값과 일치할 때 T-교정성으로 정의한다.
• 비모수 등온 회귀를 사용해 관측된 T값을 예측된 T값에 대해 회귀함으로써, 인구 및 표본 T-신뢰도 다이어그램을 정의한다.
• 등온성과 안정성을 보장하기 위해 재조정된 T값을 추정하기 위해 풀-이웃-위반자(PAV) 알고리즘을 적용한다.
• 점수 분해: 평균 점수 = MCB − DSC + UNC를 유도하며, 여기서 MCB ≥ 0, DSC ≥ 0, UNC > 0이다.
• 보편적 계수 결정률 R∗ = (DSC − MCB) / UNC를 제안하며, 이는 R²와 R₁를 일반화하고, 온건한 조건 하에서 [0,1] 범위 내에 존재한다.

실험 결과

연구 질문

• RQ1 예측 분포와 점 추정치에 대해 평균, 분위수, 기대값 등 다양한 기능 T에 대해 교정성이 일관되게 정의되고 평가될 수 있는 방법은 무엇인가?
• RQ2 자기교정성과 T-교정성 사이의 이론적 관계는 무엇이며, 언제 자기교정성이 T-교정성을 함의하는가?
• RQ3 일반적인 점수 함수 프레임워크에서 오차, 분별력, 불확실성을 일관되게 분해할 수 있는가?
• RQ4 모든 식별 가능한 기능 T에 대해 R²와 R₁를 일반화하는 보편적 계수 결정률 R∗를 정의할 수 있는가?
• RQ5 실증적 환경에서 T-신뢰도 다이어그램과 점수 구성요소의 신뢰성 있고 안정적이며 재현 가능한 추정기법을 어떻게 구축할 수 있는가?

주요 결과

• 제안된 계수 결정률 R∗는 최소 제곱 회귀에서의 전통적 R²와 분위수 회귀에서의 R₁를 일반화하며, 온건한 정규성 조건 하에서 [0,1] 범위에 놓여져 있다.
• T-신뢰도 다이어그램은 관측된 T값을 예측된 T값에 대해 비모수 등온 회귀함으로써 구성되며, 안정적이고 재현 가능한 추정을 보장한다.
• 모든 일관된 점수 함수에 대해 S̄ = MCB − DSC + UNC 분해식이 성립하며, MCB ≥ 0, DSC ≥ 0, UNC > 0이다.
• 평균 기능의 경우 MCB 성분은 평균제곱오차(MSE)에서 분별력 성분을 뺀 값과 일치하며, R∗는 설명된 변동의 비율을 캡처한다.
• CORP(일관성 있고 최적이며 재현 가능한, PAV 기반) 접근법을 통해 T-신뢰도 다이어그램과 점수 구성요소를 실증적으로 추정함으로써 통계적 효율성, 재현성, 안정성이 보장된다.
• 이 프레임워크는 이산 사건의 확률, 분위수, 모멘트, 기대값 등 임의의 식별 가능한 기능 T에 대해 보편적으로 적용 가능하며, 예측 생성 방법에 관계없이 적용 가능하다.