[论文解读] Supervised Learning with Similarity Functions

Purushottam Kar, Prateek Jain|arXiv (Cornell University)|Oct 22, 2012

Domain Adaptation and Few-Shot Learning参考文献 26被引用 9

一句话总结

该论文提出了一种通用框架，用于使用非定正半定（PSD）核之外的不定相似性函数进行监督学习，通过引入基于目标值的优良性准则。该框架采用地标化技术，实现在回归、序数回归和排序任务中具有有界泛化误差的高效学习，同时通过稀疏地标选择方法在效率和准确性上优于基线核方法。

ABSTRACT

We address the problem of general supervised learning when data can only be accessed through an (indefinite) similarity function between data points. Existing work on learning with indefinite kernels has concentrated solely on binary/multi-class classification problems. We propose a model that is generic enough to handle any supervised learning task and also subsumes the model previously proposed for classification. We give a "goodness" criterion for similarity functions w.r.t. a given supervised learning task and then adapt a well-known landmarking technique to provide efficient algorithms for supervised learning using "good" similarity functions. We demonstrate the effectiveness of our model on three important super-vised learning problems: a) real-valued regression, b) ordinal regression and c) ranking where we show that our method guarantees bounded generalization error. Furthermore, for the case of real-valued regression, we give a natural goodness definition that, when used in conjunction with a recent result in sparse vector recovery, guarantees a sparse predictor with bounded generalization error. Finally, we report results of our learning algorithms on regression and ordinal regression tasks using non-PSD similarity functions and demonstrate the effectiveness of our algorithms, especially that of the sparse landmark selection algorithm that achieves significantly higher accuracies than the baseline methods while offering reduced computational costs.

研究动机与目标

• 将监督学习从PSD核扩展至可使用不定相似性函数。
• 基于目标值相似性，定义一种通用的‘优良性’准则，涵盖先前针对分类任务的特定准则。
• 开发基于地标化技术的高效学习算法，确保在多种监督任务中具有有界泛化误差。
• 通过引入具有理论保证的稀疏地标化方法，解决地标选择中的计算低效问题。
• 通过理论分析，为在地标学习中重用训练数据作为地标（双重使用）提供理论依据。

提出的方法

• 提出基于目标值的优良性准则：相似的数据点应具有相似的目标值，从而推广基于间隔的分类准则。
• 将地标化技术适配于将基于相似性的学习映射到一个缩减空间中的线性问题，使用一组代表性地标。
• 在地标特征空间中使用带正则化项的加权最小二乘法公式来学习预测器。
• 应用稀疏向量恢复方法（来自[10]）以识别一个小型但具有影响力的地标子集，从而降低训练和推理成本。
• 采用表示定理，将解表示为地标权重的函数，从而实现高效的优化。
• 理论分析表明，对于回归、序数回归和排序任务，泛化误差具有有界性，且样本复杂度为多项式级别。

实验结果

研究问题

• RQ1 能否定义一种适用于二元分类之外的多种监督学习任务的通用相似性函数优良性准则？
• RQ2 地标化技术能否被适配以在使用不定相似性函数时提供泛化误差界？
• RQ3 稀疏地标选择能否在保持泛化性能的同时降低使用不定核进行学习的计算成本？
• RQ4 在基于地标的学习中，重用训练数据作为地标（双重使用）是否具有理论依据？
• RQ5 在真实世界回归和序数回归数据集上，所提出的方法与标准核回归相比在实践中表现如何？

主要发现

• 所提出的框架在使用不定相似性函数时，实现了对实值回归、序数回归和排序任务的有界泛化误差。
• 稀疏地标选择算法在准确率上显著优于基线方法，同时降低了测试时间的计算成本。
• 在基准数据集上，基于地标的方法（RegLand和ORLand）在多种核函数（高斯、欧几里得、曼哈顿）下，均实现了比核回归更低的均方误差和绝对误差。
• 理论分析证实，该优良性准则包含了所有良好的PSD核，确保与现有核方法的兼容性。
• 通过稀疏向量恢复导出的稀疏预测器，尽管仅使用少量地标，仍能保持有界泛化误差。
• 理论分析为双重使用提供了支持，即在不损害泛化保证的前提下，可将训练数据用作地标。