[论文解读] A Unified View of Label Shift Estimation

Saurabh Garg, Yifan Wu+2 more|arXiv (Cornell University)|Mar 17, 2020

Machine Learning and Data Classification参考文献 27被引用 10

一句话总结

本文通过揭示黑箱漂移估计（BBSE）与最大似然标签漂移（MLLS）方法在校准粒度上的差异而非目标函数的不同，统一了两种主流的标签漂移估计方法。研究建立了MLLS的理论一致性条件，并通过实验证明，MLLS在经验性能上的优越性源于更精细的校准，而非其优化目标，实验中MSE最低可降低10倍。

ABSTRACT

Under label shift, the label distribution p(y) might change but the class-conditional distributions p(x|y) do not. There are two dominant approaches for estimating the label marginal. BBSE, a moment-matching approach based on confusion matrices, is provably consistent and provides interpretable error bounds. However, a maximum likelihood estimation approach, which we call MLLS, dominates empirically. In this paper, we present a unified view of the two methods and the first theoretical characterization of MLLS. Our contributions include (i) consistency conditions for MLLS, which include calibration of the classifier and a confusion matrix invertibility condition that BBSE also requires; (ii) a unified framework, casting BBSE as roughly equivalent to MLLS for a particular choice of calibration method; and (iii) a decomposition of MLLS's finite-sample error into terms reflecting miscalibration and estimation error. Our analysis attributes BBSE's statistical inefficiency to a loss of information due to coarse calibration. Experiments on synthetic data, MNIST, and CIFAR10 support our findings.

研究动机与目标

• 理论刻画最大似然标签漂移（MLLS）估计器，该估计器在经验上表现占优，但缺乏正式的一致性分析。
• 在统一框架下整合BBSE与MLLS，揭示二者仅在校准方法与目标函数上存在差异。
• 将MLLS的有限样本误差分解为校准偏差与估计误差两部分，识别统计效率低下的根源。
• 解释为何使用偏差校正温度缩放（BCTS）的MLLS优于BBSE，尽管BBSE具有更强的理论保证。
• 为提升标签漂移估计性能，提供关于校准粒度的实用指导。

提出的方法

• 提出统一框架，将BBSE与MLLS均视为基于校准的估计器，其中BBSE对应基于混淆矩阵的校准。
• 建立MLLS一致性的充分条件：分类器需具备规范校准性，且混淆矩阵可逆。
• 证明当采用基于混淆矩阵的校准时，MLLS与BBSE等价；但当采用更细粒度的校准（如BCTS）时则存在差异。
• 推导MLLS的有限样本误差分解，将误差分离为校准偏差（来自验证集再校准与可达到的最小误差）与估计误差。
• 利用合成数据与真实数据集（MNIST、CIFAR-10）验证理论结论，调整校准粒度与漂移程度。
• 应用BCTS进行事后校准，并将使用BCTS校准的MLLS与BBSE、RLLS及使用混淆矩阵校准的MLLS（MLLS-CM）进行比较。

实验结果

研究问题

• RQ1 在何种条件下，MLLS估计器对标签漂移估计是一致的？
• RQ2 为何使用BCTS校准的MLLS在经验上优于BBSE，尽管BBSE具有更强的理论保证？
• RQ3 校准方法的选择如何影响标签漂移估计器的性能？
• RQ4 能否在单一理论框架下统一MLLS与BBSE？
• RQ5 MLLS的有限样本误差结构是什么？其如何依赖于校准粒度？

主要发现

• 若分类器具备规范校准性且混淆矩阵可逆，则MLLS是一致的，这些条件也是BBSE所必需的。
• BBSE的统计效率低下源于其通过混淆矩阵实现的粗粒度校准，相比更细粒度校准会丢失信息。
• 在严重漂移下，使用BCTS校准的MLLS相比BBSE与RLLS，MSE最高可降低10倍，尤其在目标数据量增大时表现更优。
• MLLS-CM（使用混淆矩阵校准）在所有设置下与BBSE性能几乎完全一致，证实性能差异源于校准粒度而非目标函数。
• 在合成数据中，增加校准分箱数量可降低MSE并提高Hessian矩阵的最小特征值，验证了理论误差分解的合理性。
• MLLS-CM的Hessian矩阵最小特征值为0.195，显著低于分箱数≥4的分箱预测器，解释了其性能较差的原因。