[论文解读] Are Labels Always Necessary for Classifier Accuracy Evaluation?

Weijian Deng, Liang Zheng|arXiv (Cornell University)|Jul 6, 2020

Advanced Neural Network Applications被引用 4

一句话总结

本文提出 AutoEval，一种通过利用合成变换训练图像的元数据集，估算在未标记测试集上分类器准确率的方法。使用这些变换数据集的分布统计量（均值与协方差）作为输入，回归模型可预测测试准确率，其在分布偏移与性能之间表现出 -0.9 的斯皮尔曼等级相关系数，从而实现在真实部署场景中无需标签的评估。

ABSTRACT

To calculate the model accuracy on a computer vision task, e.g., object recognition, we usually require a test set composing of test samples and their ground truth labels. Whilst standard usage cases satisfy this requirement, many real-world scenarios involve unlabeled test data, rendering common model evaluation methods infeasible. We investigate this important and under-explored problem, Automatic model Evaluation (AutoEval). Specifically, given a labeled training set and a classifier, we aim to estimate the classification accuracy on unlabeled test datasets. We construct a meta-dataset: a dataset comprised of datasets generated from the original images via various transformations such as rotation, background substitution, foreground scaling, etc. As the classification accuracy of the model on each sample (dataset) is known from the original dataset labels, our task can be solved via regression. Using the feature statistics to represent the distribution of a sample dataset, we can train regression models (e.g., a regression neural network) to predict model performance. Using synthetic meta-dataset and real-world datasets in training and testing, respectively, we report a reasonable and promising prediction of the model accuracy. We also provide insights into the application scope, limitation, and potential future direction of AutoEval.

研究动机与目标

• 解决在真实世界测试数据缺乏真实标签或获取成本过高的情况下，评估分类器性能的挑战。
• 探究是否可通过建模数据集分布偏移与分类器性能之间的关系，在无需测试标签的情况下估计模型准确率。
• 构建一个经过变换的图像数据集元数据集，以训练回归模型，基于整体数据集统计量预测准确率。
• 通过预测在未见环境中的系统可靠性，实现实际部署中的监控，而无需人工标注。

提出的方法

• 通过在原始训练图像上应用多样化的图像变换（如旋转、背景替换和前景缩放）构建元数据集，生成多个合成数据集。
• 从每个合成数据集的特征表示中提取全局特征统计量（均值与协方差），以表征其分布。
• 训练一个回归模型（例如神经网络），利用这些分布统计量作为输入，预测给定分类器在每个合成数据集上的真实分类准确率。
• 利用分布偏移（通过弗雷歇距离测量）与模型准确率之间存在的强负相关性（斯皮尔曼等级相关系数为 -0.9）来指导学习过程。
• 使用训练好的回归模型，通过计算真实世界未标记测试集的特征统计量并将其输入模型，来预测其准确率。
• 通过合成元数据集和真实世界测试集进行验证，证明该方法可泛化至未见的数据分布。

实验结果

研究问题

• RQ1 是否仅通过数据的分布级统计量，就能可靠地预测在未标记测试集上的分类器准确率？
• RQ2 在真实世界部署场景中，数据集分布偏移与模型性能之间的关系有多强？
• RQ3 经过变换的训练图像元数据集在多大程度上能泛化至预测真实世界未标记测试集的准确率？
• RQ4 当测试数据包含元数据集中未涵盖的分布外或对抗性样本时，该方法存在哪些局限性？

主要发现

• 存在强烈的负相关性（斯皮尔曼等级相关系数为 -0.9），即通过弗雷歇距离（FD）测量的分布偏移与模型测试准确率之间，表明分布偏移是性能下降的可靠代理指标。
• 所提出的 AutoEval 框架仅使用测试数据的特征统计量，无需标签，即可在真实世界未标记测试集上实现合理且有前景的准确率预测。
• 合成元数据集有效覆盖了广泛的数据分布，使模型能够泛化至新型真实世界测试环境。
• 该方法实现了无标签的模型性能评估，这对真实世界部署监控至关重要，因为此时标注不切实际或成本过高。
• 当测试集包含元数据集中未出现的新类别或极端对抗性条件时，方法会出现局限性，导致预测不准确。
• 可将分布外检测技术集成以识别并拒绝此类问题测试集，从而提升模型鲁棒性。