[论文解读] Detecting Errors and Estimating Accuracy on Unlabeled Data with Self-training Ensembles

Jiefeng Chen, Frederick Liu+4 more|arXiv (Cornell University)|Jun 29, 2021

Adversarial Robustness in Machine Learning被引用 15

一句话总结

本文提出了一种自训练集成框架，通过迭代式模型集成和伪标签化技术，联合估计模型准确率并检测未标注测试数据中的错误，从而提升检测与估计性能。该方法实现了最先进性能，相较于先前方法，在iWildCam数据集上将估计误差降低至少70%，F1分数提升4.7%。

ABSTRACT

When a deep learning model is deployed in the wild, it can encounter test data drawn from distributions different from the training data distribution and suffer drop in performance. For safe deployment, it is essential to estimate the accuracy of the pre-trained model on the test data. However, the labels for the test inputs are usually not immediately available in practice, and obtaining them can be expensive. This observation leads to two challenging tasks: (1) unsupervised accuracy estimation, which aims to estimate the accuracy of a pre-trained classifier on a set of unlabeled test inputs; (2) error detection, which aims to identify mis-classified test inputs. In this paper, we propose a principled and practically effective framework that simultaneously addresses the two tasks. The proposed framework iteratively learns an ensemble of models to identify mis-classified data points and performs self-training to improve the ensemble with the identified points. Theoretical analysis demonstrates that our framework enjoys provable guarantees for both accuracy estimation and error detection under mild conditions readily satisfied by practical deep learning models. Along with the framework, we proposed and experimented with two instantiations and achieved state-of-the-art results on 59 tasks. For example, on iWildCam, one instantiation reduces the estimation error for unsupervised accuracy estimation by at least 70% and improves the F1 score for error detection by at least 4.7% compared to existing methods.

研究动机与目标

• 解决在缺乏真实标签的情况下，对未标注测试数据中的模型准确率进行估计并检测误分类样本的挑战。
• 开发一种在分布偏移下仍能有效工作且无需来自多样化分布的标注数据的方法。
• 在温和且实际的条件下，为准确率估计和错误检测提供可证明的保证。
• 通过识别高风险预测而无需完整重新标注，实现低成本的模型部署。

提出的方法

• 该框架利用模型集成，基于其与预训练模型的不一致性来识别误分类的测试样本。
• 通过将伪标签分配给识别出的误分类样本并重新训练集成模型，实施自训练以提升检测性能。
• 使用加权损失函数进行集成训练，该损失函数结合了在标注数据上的标准交叉熵损失和在伪标注测试数据上的改进损失。
• 引入阈值化方法以优化预测置信度，提升错误检测效果。
• 利用多样化且校准良好的模型，确保即使预训练模型校准不佳，也能保持鲁棒性。
• 理论分析表明，在对集成行为施加温和条件时，可证明收敛至准确的准确率估计和可靠的错误检测。

实验结果

研究问题

• RQ1 自训练集成框架是否能在无真实标签访问的情况下，准确估计预训练模型在未标注测试数据上的准确率？
• RQ2 该框架是否能在无标签条件下有效检测单个误分类样本？
• RQ3 该框架在分布偏移或协变量偏移下是否仍保持强性能？
• RQ4 在符合现实深度学习假设的条件下，准确率估计和错误检测的理论保证是什么？
• RQ5 与现有方法（如基于置信度的估计、域不变模型或代理风险方法）相比，该方法表现如何？

主要发现

• 在iWildCam数据集上，与现有方法相比，该方法将估计误差降低了至少70%。
• 与先前方法相比，该方法在iWildCam上的错误检测F1分数提升了至少4.7%。
• 该框架在涵盖图像和文本分类的59项任务中均实现了最先进性能。
• 消融研究显示，阈值化不会降低性能，表明对超参数选择具有鲁棒性。
• 即使集成模型的准确率低于基线模型（例如在iWildCam上），由于模型多样性，该方法仍表现良好。
• 与使用集成检查模型的代理风险变体相比，该方法的估计误差更低（0.023 vs. 0.081），F1分数更高（0.881 vs. 0.852）。