[论文解读] Minimizing The Misclassification Error Rate Using a Surrogate Convex Loss

Shai Ben-David, David Loker+2 more|arXiv (Cornell University)|Jun 27, 2012

Imbalanced Data Classification Techniques参考文献 15被引用 28

一句话总结

本文分析了二元线性分类中凸代理损失函数与实际误分类错误率之间的关系。证明了合页损失在所有凸代理损失中提供了最紧的误分类错误率上界，确立了基于间隔的线性预测器学习的理论最优性。

ABSTRACT

We carefully study how well minimizing convex surrogate loss functions, corresponds to minimizing the misclassification error rate for the problem of binary classification with linear predictors. In particular, we show that amongst all convex surrogate losses, the hinge loss gives essentially the best possible bound, of all convex loss functions, for the misclassification error rate of the resulting linear predictor in terms of the best possible margin error rate. We also provide lower bounds for specific convex surrogates that show how different commonly used losses qualitatively differ from each other.

研究动机与目标

• 理解凸代理损失函数在二元分类中近似真实误分类错误率的程度。
• 评估不同凸代理损失在最小化线性预测器误分类错误率方面的理论性能。
• 识别哪种凸损失函数能对误分类错误率提供最紧的泛化上界。
• 建立下界以区分常用代理损失的定性行为差异。

提出的方法

• 对线性二元分类中代理损失最小化与实际误分类错误率之间关系的理论分析。
• 基于可达到的最佳间隔错误率，推导误分类错误率的泛化上界。
• 通过其对误分类错误率的诱导上界，比较各种凸代理损失（如合页、对数、平方损失）。
• 利用基于间隔的分析，刻画通过任意凸代理损失训练的线性预测器所能达到的最坏情况误分类错误率。
• 证明合页损失在所有凸代理损失中实现了最佳可能上界。
• 建立下界，以展示常用凸代理损失之间在定性行为上的差异。

实验结果

研究问题

• RQ1 在二元线性分类中，最小化凸代理损失在多大程度上能近似真实误分类错误率？
• RQ2 通过任意凸代理损失函数，所能实现的误分类错误率的最紧可能上界是什么？
• RQ3 合页损失是否在代理损失最小化与实际分类错误之间提供了最优权衡？
• RQ4 不同凸代理损失（如对数、平方、合页）在控制误分类错误率方面，其定性差异是什么？
• RQ5 在使用凸代理损失最小化误分类错误率时是否存在根本性限制？如果有，它们是什么？

主要发现

• 合页损失在所有凸代理损失函数中对误分类错误率实现了最佳可能上界。
• 没有任何凸代理损失能提供比合页损失更优的误分类错误率泛化上界。
• 本文建立了下界，表明常用凸代理损失（如逻辑损失和平方损失）之间存在定性差异。
• 分析表明，合页损失在最小化线性分类中的误分类错误率方面具有理论最优性。
• 结果证实，合页损失不仅在实践中有效，而且在泛化到误分类错误率方面具有理论最优性。
• 该理论框架为理解代理损失最小化在二元线性分类中的局限性与优势提供了严谨基础。