[论文解读] Extrapolating Expected Accuracies for Large Multi-Class Problems

Charles Zheng, Rakesh Achanta+1 more|arXiv (Cornell University)|Dec 27, 2017

Domain Adaptation and Few-Shot Learning参考文献 16被引用 3

一句话总结

本文提出一种方法，通过建模判别度分布的 (k−1) 阶矩来外推大规模多分类问题的预期分类准确率，该矩从少量 k 的训练数据中估计得出。该方法在独立同分布类别采样和分类器独立性假设下，实现了对更大类别集性能的无偏预测，并在人脸识别和 OCR 任务中得到验证，实现了最先进的准确率外推效果。

ABSTRACT

The difficulty of multi-class classification generally increases with the number of classes. Using data from a subset of the classes, can we predict how well a classifier will scale with an increased number of classes? Under the assumptions that the classes are sampled identically and independently from a population, and that the classifier is based on independently learned scoring functions, we show that the expected accuracy when the classifier is trained on k classes is the (k-1)st moment of a certain distribution that can be estimated from data. We present an unbiased estimation method based on the theory, and demonstrate its application on a facial recognition example.

研究动机与目标

• 基于在较小子集上观察到的性能，预测分类器在更大、未观测到的类别集上的预期泛化准确率。
• 在独立同分布类别采样和独立评分函数假设下，形式化分类器准确率与类别集大小之间的关系。
• 开发一种基于较小 k 的数据估计更大 k 下预期准确率的无偏估计程序，实现在无需在完整类别集上重新训练的情况下进行性能外推。
• 在真实世界的大规模多分类任务（如人脸识别和泰卢固语 OCR）中验证该方法，展示其在多种分类器上的鲁棒性。

提出的方法

• 将 k 个类别的预期准确率建模为判别度分布 D(u) 的 (k−1) 阶矩，该分布由分类器的评分函数和数据分布推导得出。
• 假设类别是从总体分布 π 中独立同分布采样的，并且分类器按类别独立训练，从而实现对单个类别性能的条件分析。
• 使用基于样条的平滑方法，对小 k 训练集中的经验数据进行非参数化估计，得到判别度函数 D(u)。
• 利用估计出的 D(u) 计算高阶矩，这些矩对应于更大 k 下的预期准确率，从而实现对外部未观测到的 k2 > k1 的外推。
• 基于理论矩公式实现无偏估计算法，最大限度减少在不同 k 值下的性能预测偏差。
• 通过重采样和交叉验证，在人脸识别和泰卢固语 OCR 数据集上的多种分类器（SVM、逻辑回归、深度卷积神经网络）中验证该方法。

实验结果

研究问题

• RQ1 在独立同分布类别假设下，能否仅从较小子集上的性能预测在大规模类别集上的预期分类准确率？
• RQ2 预期准确率如何随类别集大小 k 的增加而变化？这种变化能否被数学表征？
• RQ3 从有限训练数据中估计判别度分布的 (k−1) 阶矩的理论基础是什么？
• RQ4 与现有外推技术（如 KDE-BCV、KDE-UCV）相比，该方法在准确率和偏差方面表现如何？
• RQ5 该方法在不同分类器以及真实世界的大规模多分类任务（如人脸识别和 OCR）中具有多大程度的泛化能力？

主要发现

• k 个类别的预期准确率在数学上等价于判别度分布 D(u) 的 (k−1) 阶矩，该矩可从小 k 训练数据中估计得出。
• 在深度卷积神经网络和 SVM 的 20 到 100 及 100 到 400 的外推中，所提出的 ClassExReg 方法与真实准确率最接近；在逻辑回归任务中，其表现与 KDE-BCV 相当或更优。
• 在 20 到 400 的外推（比例为 20）中，ClassExReg 在所有分类器中均表现优于或等同于其他方法，尽管由于训练集较小，性能波动较大。
• 在泰卢固语 OCR 数据集中，使用深度卷积神经网络从 100 类外推到 400 类时，ClassExReg 预测准确率为 0.9837，接近真实值 0.9860。
• 在理论假设成立的前提下，该方法是无偏的，且估计过程能高效计算高阶矩，无需在更大 k 上重新训练。
• 该方法在多种分类器和数据集上均表现稳健，代码已公开，获取地址为 https://github.com/snarles/ClassEx