[论文解读] Don't Just Blame Over-parametrization for Over-confidence: Theoretical Analysis of Calibration in Binary Classification

Yu Bai, Mei Song+2 more|arXiv (Cornell University)|Feb 15, 2021

Machine Learning and Algorithms参考文献 43被引用 16

一句话总结

本文挑战了机器学习模型中过度自信仅由过参数化引起的普遍观点。理论上证明了即使在设定正确、参数量不足的逻辑回归中，在可实现设置下，其本身也存在过度自信，校准误差按 Θ(d/n) 规模缩放，并确定了在何种条件下也可能出现低估自信的情况，具体取决于激活函数。

ABSTRACT

Modern machine learning models with high accuracy are often miscalibrated -- the predicted top probability does not reflect the actual accuracy, and tends to be over-confident. It is commonly believed that such over-confidence is mainly due to over-parametrization, in particular when the model is large enough to memorize the training data and maximize the confidence. In this paper, we show theoretically that over-parametrization is not the only reason for over-confidence. We prove that logistic regression is inherently over-confident, in the realizable, under-parametrized setting where the data is generated from the logistic model, and the sample size is much larger than the number of parameters. Further, this over-confidence happens for general well-specified binary classification problems as long as the activation is symmetric and concave on the positive part. Perhaps surprisingly, we also show that over-confidence is not always the case -- there exists another activation function (and a suitable loss function) under which the learned classifier is under-confident at some probability values. Overall, our theory provides a precise characterization of calibration in realizable binary classification, which we verify on simulations and real data experiments.

研究动机与目标

• 调查二分类模型中的过度自信是否完全由过参数化引起。
• 分析在可实现设置下，设定正确且参数量不足的逻辑回归的校准行为。
• 识别在模型设定合理时，二分类中出现过度或低估自信的一般条件。
• 通过在CIFAR-10和合成数据上的模拟与真实数据实验，验证理论发现。

提出的方法

• 在高维、比例极限（n,d→∞ 且 n/d 较大）下对经验风险最小化器（ERM）进行理论分析。
• 推导刻画 ERM 的非线性系统解在极限下的首阶行为。
• 基于估计的权重向量和真实参数向量，使用校准曲线的闭式表达式。
• 构造一种特定的激活函数，使其在相同的 ERM 框架下引发低估自信。
• 在合成数据上模拟逻辑回归（n=2000, d=100），以验证理论预测。
• 在 CIFAR-10（5类和10类子集）上应用伪标签法，以在可实现假设下测试真实数据中的校准性能。

实验结果

研究问题

• RQ1 逻辑回归中的过度自信是过参数化的后果，还是模型本身的固有属性？
• RQ2 在设定正确的二分类中，激活函数的何种条件会导致过度自信或低估自信？
• RQ3 在参数量不足、可实现的设定下，校准误差如何随模型维度和样本量缩放？
• RQ4 在设定正确的设定下，是否可通过合适选择激活函数和损失函数诱导出低估自信？
• RQ5 理论预测的 Θ(d/n) 校准误差在真实数据和模拟中在多大程度上成立？

主要发现

• 即使数据由真实模型生成且 n ≫ d，设定正确的逻辑回归本身也存在过度自信，其程度在极限下为 Θ(d/n)。
• 逻辑回归的整体校准误差为 Θ(d/n)，证实过度自信是系统性现象，而非过拟合或记忆化所致。
• 任何在 z > 0 上为凹函数的对称、单调激活函数，都会在设定正确的设定下导致所有置信度水平的过度自信。
• 存在一个反例激活函数，使得在某些置信度水平下，学习到的分类器表现出低估自信，从而证明过度自信并非普遍现象。
• 在合成数据和真实数据（CIFAR-10 伪标签）上的模拟结果表明，即使在严格理论假设之外，过度自信在参数量不足的设定下仍广泛存在。
• 理论分析严格建立了高维比例极限下 ERM 解的首阶行为，为校准特性提供了精确刻画。