[论文解读] Individual Calibration with Randomized Forecasting

Shengjia Zhao, Tengyu Ma+1 more|arXiv (Cornell University)|Jun 18, 2020

Explainable Artificial Intelligence (XAI)被引用 14

一句话总结

本文提出一种随机化预测方法，以在回归任务中实现个体校准，其中每个预测均为随机变量，从而消除子群体上的系统性校准偏差。通过采用一种新颖的训练目标，在强制实现个体校准的同时保持预测精度，该方法在对抗性分布偏移下展现出优越的公平性与决策性能，即使在事先未知受保护群体的情况下亦然。

ABSTRACT

Machine learning applications often require calibrated predictions, e.g. a 90\% credible interval should contain the true outcome 90\% of the times. However, typical definitions of calibration only require this to hold on average, and offer no guarantees on predictions made on individual samples. Thus, predictions can be systematically over or under confident on certain subgroups, leading to issues of fairness and potential vulnerabilities. We show that calibration for individual samples is possible in the regression setup if the predictions are randomized, i.e. outputting randomized credible intervals. Randomization removes systematic bias by trading off bias with variance. We design a training objective to enforce individual calibration and use it to train randomized regression functions. The resulting models are more calibrated for arbitrarily chosen subgroups of the data, and can achieve higher utility in decision making against adversaries that exploit miscalibrated predictions.

研究动机与目标

• 为解决机器学习中平均校准的局限性，该局限性可能导致在子群体上出现系统性校准偏差，尤其是在公平性关键的应用中。
• 开发一种方法，确保在子群体未知或不可观测的情况下，对每个个体数据样本均实现校准。
• 设计一种训练目标，强制实现个体校准，同时保持预测的精确性。
• 评估该方法在对抗性分布偏移下的公平性与决策性能表现。
• 证明随机化可使个体校准成为可能，而确定性预测器则无法实现。

提出的方法

• 引入个体校准作为强于平均校准或群体校准的概念，要求对每个个体样本，其预测分位数均以声明的概率准确命中。
• 提出一种训练目标，通过确保每个输入的预测累积分布函数（CDF）在单位区间上服从均匀分布，来强制实现个体校准。
• 采用一种随机化回归模型，输出一个随机的可信区间，其中 CDF 是以输入和随机种子为条件的随机变量。
• 将个体校准目标与精确性目标（如对数似然）结合，实现校准与精度之间的帕累托最优权衡。
• 使用具有随机前向传播的深度神经网络来实现随机化预测器，支持端到端训练。
• 提供理论保证，表明个体校准比平均校准具有更强的覆盖率特性，尤其在分布偏移下表现更优。

实验结果

研究问题

• RQ1 是否可以通过随机化预测在回归任务中实现个体校准，即使子群体未知或未被观测到？
• RQ2 当受保护群体在事前未知时，个体校准在信用风险预测等应用中如何提升公平性？
• RQ3 当数据分布遭受对抗性偏移时，个体校准对决策性能有何影响？
• RQ4 在真实世界任务中，随机化预测器是否能实现优于确定性模型的校准性与实用性？
• RQ5 个体校准、群体校准与平均校准之间存在何种理论关系？

主要发现

• 所提方法通过随机化预测输出实现回归任务中的个体校准，消除了任何子群体（包括未观测或不可计算的子群体）上的系统性校准偏差。
• 在 UCI 犯罪预测任务中，个体校准预测器在未受保护群体上实现了显著更低的校准误差，且训练过程中无需使用群体标签。
• 在银行与风险偏好客户之间的模拟博弈中，使用个体校准预测器的银行在对抗性分布偏移下所承受的决策损失低于平均校准模型。
• 理论分析表明，个体校准比平均校准具有更强的覆盖率保证，尤其在数据分布发生变化时。
• 该方法与深度神经网络兼容，可通过可微分目标实现端到端训练，该目标平衡了个体校准与精确性。
• 随机化使个体校准成为可能，而确定性预测器在一般条件下无法实现个体校准，此结论已由命题1证明。