[论文解读] Distribution-free uncertainty quantification for classification under label shift

Aleksandr Podkopaev, Aaditya Ramdas|arXiv (Cornell University)|Mar 4, 2021

Machine Learning and Data Classification参考文献 28被引用 7

一句话总结

本文提出了一种在标签偏移下无需分布假设的不确定性量化（UQ）方法，通过使用估计的重要权重对逐点预测和事后校准进行重加权，以实现重加权的预测集和校准概率。该方法在理论上建立了保证，并通过实证结果表明，即使标签比例与训练数据不同，重加权也能在目标分布上恢复有效的覆盖率和校准性。

ABSTRACT

Trustworthy deployment of ML models requires a proper measure of uncertainty, especially in safety-critical applications. We focus on uncertainty quantification (UQ) for classification problems via two avenues -- prediction sets using conformal prediction and calibration of probabilistic predictors by post-hoc binning -- since these possess distribution-free guarantees for i.i.d. data. Two common ways of generalizing beyond the i.i.d. setting include handling covariate and label shift. Within the context of distribution-free UQ, the former has already received attention, but not the latter. It is known that label shift hurts prediction, and we first argue that it also hurts UQ, by showing degradation in coverage and calibration. Piggybacking on recent progress in addressing label shift (for better prediction), we examine the right way to achieve UQ by reweighting the aforementioned conformal and calibration procedures whenever some unlabeled data from the target distribution is available. We examine these techniques theoretically in a distribution-free framework and demonstrate their excellent practical performance.

研究动机与目标

• 为解决标签偏移下不确定性量化（UQ）性能下降的问题，标准的无需分布假设的方法因标签比例不匹配而失效。
• 将具有独立同分布保证的逐点预测和概率校准方法扩展到使用未标记目标数据的标签偏移场景。
• 提供理论基础坚实的、无需分布假设的UQ程序，即使测试数据分布与训练数据在标签边缘分布上不同，也能保持有效性。
• 证明基于估计重要权重的重加权方法，可在预测集和校准过程中恢复覆盖率和校准性。

提出的方法

• 使用估计的重要权重对逐点预测过程进行重加权，以考虑目标分布中的标签偏移。
• 通过根据估计的重要权重对校准数据进行重加权，改进事后分箱校准，以实现在目标域上的校准。
• 使用一个保留的未标记目标数据集，通过最大似然或矩量估计等方法估计标签偏移的重要权重。
• 在逐点预测中应用加权交换性，以在标签偏移下保持边际覆盖率。
• 理论分析表明，重加权的预测集和校准概率在标签偏移下仍能保持有效的覆盖率和校准性。
• 在真实数据（如葡萄酒质量数据集）上进行实证验证，通过模拟标签偏移来展示方法的实际有效性。

实验结果

研究问题

• RQ1 无需分布假设的不确定性量化方法（如逐点预测和校准）是否能在标签偏移下保持有效的覆盖率和校准性？
• RQ2 在不施加强分布假设的前提下，应如何修改逐点预测和校准以适应标签偏移？
• RQ3 标签偏移对标准UQ方法性能的理论影响是什么？是否可通过重要性加权进行纠正？
• RQ4 当仅能获得未标记目标数据时，重加权UQ方法在实际中表现如何？
• RQ5 能否利用未标记目标数据中估计的重要权重，恢复预测集和校准概率中的有效不确定性量化？

主要发现

• 即使预测性能保持不变，标签偏移也会显著降低标准无需分布假设的UQ方法的覆盖率和校准性。
• 使用估计的重要权重对逐点预测进行重加权，可在标签偏移下恢复边际覆盖率，且具有理论保证。
• 通过重加权数据进行事后校准可在目标分布上实现近似校准，而未经校正的校准方法则会失效。
• 在葡萄酒质量数据集上的实证结果表明，重加权UQ方法能紧密跟随理想的对角线可靠性曲线，优于未经校正的方法。
• 理论分析确认，估计概率的误差会随着重要权重估计的改善而减小，从而在标签偏移下确保鲁棒性。