[论文解读] Conformal prediction for exponential families and generalized linear models

Daniel J. Eck, Forrest W. Crawford|arXiv (Cornell University)|May 9, 2019

Statistical Methods and Inference被引用 1

一句话总结

本文提出了两种针对连续结果广义线性模型（GLMs）的参数化置信预测方法，即使在模型设定错误时也能保证有限样本有效性。第一种方法通过预测变量空间的分箱实现局部有效性，并达到最优收敛速率；第二种方法应用概率积分变换实现边际有效性及渐近最小性，收敛速率为 $\sqrt{\log(n)/n}$。

ABSTRACT

Conformal prediction methods construct prediction regions for iid data that are valid in finite samples. We provide two parametric conformal prediction regions that are applicable for a wide class of continuous statistical models. This class of statistical models includes generalized linear models (GLMs) with continuous outcomes. Our parametric conformal prediction regions possesses finite sample validity, even when the model is misspecified, and are asymptotically of minimal length when the model is correctly specified. The first parametric conformal prediction region is constructed through binning of the predictor space, guarantees finite-sample local validity and is asymptotically minimal at the $\sqrt{\log(n)/n}$ rate when the dimension $d$ of the predictor space is one or two, and converges at the $O\{(\log(n)/n)^{1/d}\}$ rate when $d > 2$. The second parametric conformal prediction region is constructed by transforming the outcome variable to a common distribution via the probability integral transform, guarantees finite-sample marginal validity, and is asymptotically minimal at the $\sqrt{\log(n)/n}$ rate. We develop a novel concentration inequality for maximum likelihood estimation that induces these convergence rates. We analyze prediction region coverage properties, large-sample efficiency, and robustness properties of four methods for constructing conformal prediction intervals for GLMs: fully nonparametric kernel-based conformal, residual based conformal, normalized residual based conformal, and parametric conformal which uses the assumed GLM density as a conformity measure. Extensive simulations compare these approaches to standard asymptotic prediction regions. The utility of the parametric conformal prediction region is demonstrated in an application to interval prediction of glycosylated hemoglobin levels, a blood measurement used to diagnose diabetes.

研究动机与目标

• 开发在模型设定错误时仍能保持有限样本有效性的置信预测方法，适用于广义线性模型。
• 在模型设定正确时通过最小化预测区域长度实现渐近高效性。
• 将置信预测方法扩展至指数族分布与具有连续结果的广义线性模型设置。
• 在覆盖概率与效率方面，将参数化置信预测方法与非参数方法及基于残差的替代方法进行比较。
• 通过糖尿病诊断中糖化血红蛋白水平预测的实际应用，展示方法的实际效用。

提出的方法

• 通过将预测变量空间分箱构建参数化置信预测区域，确保有限样本局部有效性。
• 对结果变量应用概率积分变换，将其转换为均匀分布，从而实现边际有效性。
• 推导出一种新颖的极大似然估计浓度不等式，支持预测区域的收敛速率。
• 在参数化置信预测方法中，使用假设的GLM密度作为符合度度量，以提升效率。
• 采用留一法框架计算符合度评分，确保在交换性条件下的有效性。
• 分析四种方法的覆盖概率、效率与鲁棒性：非参数核方法、基于残差的方法、标准化残差方法及参数化置信预测方法。

实验结果

研究问题

• RQ1 参数化置信预测方法能否在连续结果的广义线性模型中实现有限样本有效性？
• RQ2 在模型设定错误与正确时，参数化置信预测区域的收敛速率如何？
• RQ3 与非参数方法及基于残差的替代方法相比，参数化置信预测方法在覆盖概率与效率方面表现如何？
• RQ4 概率积分变换在确保边际有效性与渐近最小性方面起到何种作用？
• RQ5 选择符合度度量（如GLM密度）如何影响预测区域长度与鲁棒性？

主要发现

• 基于分箱的方法在预测变量维度 $d = 1$ 或 $2$ 时，实现有限样本局部有效性，并以 $\sqrt{\log(n)/n}$ 速率收敛；当 $d > 2$ 时，收敛速率为 $O\{ (\log(n)/n)^{1/d} \}$。
• 基于变换的方法保证了有限样本边际有效性，并以 $\sqrt{\log(n)/n}$ 速率实现渐近最小性。
• 针对极大似然估计的新浓度不等式支撑了两种方法的收敛速率，并保障了其理论有效性。
• 模拟结果表明，参数化置信预测方法在覆盖概率与效率方面优于标准渐近预测区域，尤其在模型设定错误时表现更优。
• 当模型设定正确时，使用GLM密度作为符合度度量的参数化置信预测方法能获得最短的预测区间。
• 在糖化血红蛋白水平预测中的实际应用验证了该方法在真实医疗场景下的实际效用与鲁棒性。