[论文解读] Backward-Compatible Prediction Updates: A Probabilistic Approach

Frederik Träuble, Julius von Kügelgen+4 more|arXiv (Cornell University)|Jul 2, 2021

Machine Learning and Data Classification参考文献 47被引用 10

一句话总结

本文提出了一种概率性、与模型无关的框架，用于机器学习系统中的后向兼容预测更新，其中仅在有益且安全时才选择性地重新评估和更新新模型的预测。通过保持后验不确定性估计并使用基于熵的采样方法，该方法在严格计算预算下最小化了负面翻转（negative flips）并提升了准确性，在CIFAR-10、ImageNet和ObjectNet上优于其他方法。

ABSTRACT

When machine learning systems meet real world applications, accuracy is only one of several requirements. In this paper, we assay a complementary perspective originating from the increasing availability of pre-trained and regularly improving state-of-the-art models. While new improved models develop at a fast pace, downstream tasks vary more slowly or stay constant. Assume that we have a large unlabelled data set for which we want to maintain accurate predictions. Whenever a new and presumably better ML models becomes available, we encounter two problems: (i) given a limited budget, which data points should be re-evaluated using the new model?; and (ii) if the new predictions differ from the current ones, should we update? Problem (i) is about compute cost, which matters for very large data sets and models. Problem (ii) is about maintaining consistency of the predictions, which can be highly relevant for downstream applications; our demand is to avoid negative flips, i.e., changing correct to incorrect predictions. In this paper, we formalize the Prediction Update Problem and present an efficient probabilistic approach as answer to the above questions. In extensive experiments on standard classification benchmark data sets, we show that our method outperforms alternative strategies along key metrics for backward-compatible prediction updates.

研究动机与目标

• 为在新模型发布时，高效且安全地更新大规模未标注数据集中的预测结果提供解决方案。
• 将预测更新问题形式化为准确率增益、后向兼容性（避免负面翻转）和计算效率之间的权衡。
• 开发一种与模型无关的概率方法，保持对真实标签的不确定性估计，并指导选择性重新评估与更新决策。
• 确保预测更新在不损害先前正确预测的前提下提升整体准确性，尤其在对信任与一致性要求较高的真实系统中。
• 证明所提出方法能同时实现三大理想目标——准确性、后向兼容性和低计算成本——在多种基准数据集上表现优异。

提出的方法

• 该方法通过基于时间序列中多个模型预测结果的贝叶斯信念更新，维护对真实标签的后验分布。
• 使用后验分布的标签熵作为选择标准，优先重新评估不确定性最高的样本，从而最小化计算成本。
• 预测更新由一个决策规则控制，该规则考虑了非对称成本：负面翻转（正确→错误）受到比正面翻转（错误→正确）更严重的惩罚。
• 该方法支持硬标签和软标签输入，通过拉普拉斯平滑实现完整的混淆矩阵估计，以提升不确定性校准效果。
• 以增量方式集成模型预测，无需微调或重新训练，仅依赖预训练模型的输出结果。
• 评估了多种更新策略（如替换法、多数投票法和置信度阈值法（CR）），以在准确率与安全性之间取得平衡。

实验结果

研究问题

• RQ1 当新模型发布时，在计算资源有限的条件下，如何高效选择需要重新评估的数据点？
• RQ2 当新模型与当前预测不一致时，应依据何种标准决定是否更新预测，特别是如何避免引入新错误？
• RQ3 是否可以采用一种概率性、与模型无关的方法，同时实现准确率提升、负面翻转减少和计算成本最小化？
• RQ4 与启发式策略相比，通过后验信念传播进行不确定性估计在选择与更新性能方面有何影响？
• RQ5 该方法在不同数据集和不同模型更新频率下的泛化能力如何？

主要发现

• 在CIFAR-10上，该方法在30%计算预算下实现了99.68%的top-1准确率，负面翻转仅0.08%，显著优于替换法（1.45%负面翻转）和多数投票法（1.0%负面翻转）。
• 在ImageNet上，该方法在10%预算下实现了99.9%的top-1准确率，负面翻转仅为0.05%，相比基线策略显著减少了错误引入。
• 在ObjectNet上，该方法在10%预算下保持了99.94%的准确率，负面翻转仅0.03%，展现出对分布偏移的强鲁棒性与高安全性。
• CR-10策略（置信度阈值为10%）在ImageNet上将负面翻转降至0.03%，在ObjectNet上降至0.01%，同时保持了接近最优的准确率。
• 与完整重新评估相比，该方法将计算成本最高降低了10倍（例如，215.6 vs. 2453.8次推理调用），且准确率损失可忽略不计。
• 采用完整混淆矩阵与拉普拉斯平滑的软标签估计方法，提升了不确定性校准效果，从而带来了比仅使用对角线估计更优的选择与更新决策。