[论文解读] Quantifying Learning Guarantees for Convex but Inconsistent Surrogates

Kirill Struminsky, Simon Lacoste-Julien+1 more|arXiv (Cornell University)|Oct 1, 2018

Machine Learning and Data Classification被引用 2

一句话总结

本文提出了一种凸学习中二次代理函数的校准函数新下界，实现了对机器学习代理函数不一致性的定量分析。研究表明，即使在不一致的情况下，代理函数仍能提供样本复杂度和优化保证，其在多分类和排序任务中的应用揭示了近似精度与计算效率之间的权衡。

ABSTRACT

We study consistency properties of machine learning methods based on minimizing convex surrogates. We extend the recent framework of Osokin et al. (2017) for the quantitative analysis of consistency properties to the case of inconsistent surrogates. Our key technical contribution consists in a new lower bound on the calibration function for the quadratic surrogate, which is non-trivial (not always zero) for inconsistent cases. The new bound allows to quantify the level of inconsistency of the setting and shows how learning with inconsistent surrogates can have guarantees on sample complexity and optimization difficulty. We apply our theory to two concrete cases: multi-class classification with the tree-structured loss and ranking with the mean average precision loss. The results show the approximation-computation trade-offs caused by inconsistent surrogates and their potential benefits.

研究动机与目标

• 将 Osokin 等人（2017）的定量一致性框架扩展至不一致代理函数。
• 在不一致设置下，为二次代理函数的校准函数建立一个非平凡的下界。
• 量化不一致程度及其对样本复杂度和优化难度的影响。
• 分析多分类任务中树状结构损失和排序任务中平均平均精度损失等实际应用。

提出的方法

• 推导出在不一致情况下依然有效的二次代理函数校准函数的新非平凡下界。
• 将该下界应用于评估基于代理函数学习中的不一致程度。
• 利用该下界量化不一致学习设置下的样本复杂度和优化难度。
• 分析两个具体应用：树状结构损失下的多分类分类和平均平均精度损失下的排序任务。
• 通过理论边界建立近似误差与计算成本之间的权衡关系。

实验结果

研究问题

• RQ1 如何利用校准函数对凸代理函数中的不一致性进行定量测量？
• RQ2 不一致性对基于代理函数学习中的样本复杂度和优化难度有何影响？
• RQ3 不一致代理函数如何影响多分类分类中的近似-计算权衡？
• RQ4 在平均平均精度损失的排序任务中，不一致代理函数在多大程度上仍能提供学习保证？
• RQ5 二次代理函数的校准函数在表征不一致性方面起什么作用？

主要发现

• 所提出的校准函数下界即使在不一致设置下也具有非平凡性，从而实现了对不一致性的定量分析。
• 不一致代理函数仍能提供关于样本复杂度和优化难度的有意义保证。
• 理论分析揭示了在树状结构损失下的多分类任务中，近似精度与计算效率之间存在权衡。
• 在平均平均精度损失的排序任务中，不一致代理函数导致了近似质量与优化成本之间的可测量权衡。
• 该框架成功量化了不一致性水平及其在两个实际学习任务中的影响。