[论文解读] Moment Multicalibration for Uncertainty Estimation

Christopher Jung, Chang Hwa Lee+3 more|arXiv (Cornell University)|Aug 18, 2020

Machine Learning and Algorithms参考文献 29被引用 12

一句话总结

本文提出了时刻多校准（moment multicalibration）框架，将多校准从仅估计均值扩展至估计条件于特征的标签分布的更高阶矩（如方差、偏度等）。该框架通过确保在细粒度子群体上对各阶矩的估计均实现校准，从而实现对多样化子群体同时有效的预测区间，诊断不公平性，并实现具有正式统计保证的不确定性感知、子群体鲁棒的预测。

ABSTRACT

We show how to achieve the notion of "multicalibration" from Hébert-Johnson et al. [2018] not just for means, but also for variances and other higher moments. Informally, it means that we can find regression functions which, given a data point, can make point predictions not just for the expectation of its label, but for higher moments of its label distribution as well-and those predictions match the true distribution quantities when averaged not just over the population as a whole, but also when averaged over an enormous number of finely defined subgroups. It yields a principled way to estimate the uncertainty of predictions on many different subgroups-and to diagnose potential sources of unfairness in the predictive power of features across subgroups. As an application, we show that our moment estimates can be used to derive marginal prediction intervals that are simultaneously valid as averaged over all of the (sufficiently large) subgroups for which moment multicalibration has been obtained.

研究动机与目标

• 为解决非参数回归中缺乏原则性不确定性估计的问题，特别是针对基于特征的子群体中的个体预测。
• 将多校准概念从原本仅针对均值预测，扩展至方差和中心矩等更高阶矩。
• 提出一种方法，用于构建在由特征划分定义的所有足够大子群体中同时有效的预测区间。
• 通过检测在某些子群体中矩估计（如方差）系统性偏高或不准确，实现对预测不公平性的诊断。
• 形式化并保证在复杂、重叠的子群体上条件化时，边际预测区间的有效性，即使在条件化于这些子群体时亦成立。

提出的方法

• 提出一种时刻多校准的概念，确保在预定义的群体族中任意子群体上，预测矩（均值、方差等）与真实条件矩在平均意义下一致。
• 引入(α,β,ε)-均值条件化时刻多校准概念，控制在子群体中对均值和矩估计的近似误差。
• 采用离散化方案，根据预测均值和矩值（如 i/m 和 j/m）对数据点进行分组，形成子群体 G(μ̄, m̄k, i, j)。
• 应用广义的切比雪夫型不等式（引理5.1），基于矩估计来界定标签偏离预测均值的尾部概率。
• 利用预测均值 μ̄(x) 和矩 m̄k(x) 构建形如 [ℓ(x), u(x)] 的预测区间，其边界由基于矩的偏离阈值得出。
• 以 Hébert-Johnson 等人（2018）的现有多校准算法为基础，将其扩展为同时校准所有子群体中矩估计的框架。

实验结果

研究问题

• RQ1 多校准能否从仅预测均值扩展到更高阶矩（如方差和偏度）？
• RQ2 时刻多校准的预测器能否用于构建在所有足够大子群体中同时有效的预测区间？
• RQ3 时刻多校准如何帮助检测并诊断在人口统计或基于特征的子群体中预测性能的不公平性？
• RQ4 从时刻多校准估计中导出的预测区间的覆盖概率有何理论保证？
• RQ5 能否有效结合多个矩估计（如方差和峰度）以提升预测区间的质量？

主要发现

• 本文证明，在(α,β,ε)-均值条件化时刻多校准下，基于矩估计构建的预测区间在任意概率质量 ≥γ 的子群体 G 上，其覆盖概率至少为 1−δ。
• 所推导的预测区间在基于预测均值和矩值离散化结果定义的子群体上具有条件有效性，确保子群体特定的可靠性。
• 该方法保证了即使在条件化于复杂且重叠的子群体时，标签落在预测区间之外的概率仍被 δ 所限制。
• 该框架可通过多校准的矩估计检测出预测不确定性更高的子群体（如方差更高），从而提示潜在的公平性问题。
• 该方法可通过绝对中心矩推广至奇数阶矩，且理论保证适用于任意阶数 k，前提是具备适当的尾部界。
• 尽管多矩最优利用仍是开放问题，但该框架已将问题转化为子模成本集合覆盖问题，提示未来可通过近似方法进一步优化。