[论文解读] A Probabilistic Theory of Supervised Similarity Learning for Pointwise ROC Curve Optimization

Robin Vogel, Aurélien Bellet+1 more|arXiv (Cornell University)|Jul 18, 2018

Imbalanced Data Classification Techniques参考文献 39被引用 5

一句话总结

该论文提出了一种用于监督相似性学习的概率框架，通过在固定假阳性率下最大化真正例率来优化逐点AUC曲线。该框架利用U-统计量建立通用且快速的学习速率，并通过基于采样的近似方法实现可扩展性能，在降低大规模数据集计算成本的同时保持理论保证。

ABSTRACT

The performance of many machine learning techniques depends on the choice of an appropriate similarity or distance measure on the input space. Similarity learning (or metric learning) aims at building such a measure from training data so that observations with the same (resp. different) label are as close (resp. far) as possible. In this paper, similarity learning is investigated from the perspective of pairwise bipartite ranking, where the goal is to rank the elements of a database by decreasing order of the probability that they share the same label with some query data point, based on the similarity scores. A natural performance criterion in this setting is pointwise ROC optimization: maximize the true positive rate under a fixed false positive rate. We study this novel perspective on similarity learning through a rigorous probabilistic framework. The empirical version of the problem gives rise to a constrained optimization formulation involving U-statistics, for which we derive universal learning rates as well as faster rates under a noise assumption on the data distribution. We also address the large-scale setting by analyzing the effect of sampling-based approximations. Our theoretical results are supported by illustrative numerical experiments.

研究动机与目标

• 解决现有相似性学习方法优化全局指标（如AUC）的局限性，这些指标可能无法反映现实应用中的实际运行约束。
• 将相似性学习形式化为一个关注逐点AUC优化的成对二分类排序问题，目标是在固定假阳性率下最大化真正例率。
• 为涉及U-统计量（由于成对相似性判断非独立同分布）的逐点AUC优化问题的实证版本推导泛化界。
• 分析基于采样的近似方法对学习速率的影响，特别是在包含数十亿个负样本对的大规模场景下。
• 通过实验验证理论发现，表明采样可保持学习速率，并在大规模数据集（如MNIST）上实现可扩展训练。

提出的方法

• 该框架将相似性学习建模为约束优化问题，目标是在固定假阳性率下最大化真正例率，使用U-统计量捕捉数据中的成对依赖关系。
• 理论分析依赖于U-过程的集中不等式，推导出无需分布假设的通用学习速率 $O(1/\sqrt{n})$。
• 在相似性得分的条件分位数满足边界条件的低噪声假设下，推导出更快的学习速率 $O(n^{-(2+a)/4})$，其中 $a \in (0,1)$。
• 为实现可扩展性，通过采样 $O(n)$ 个负样本对，使用不完全U-统计量近似负风险，同时保持通用学习速率。
• 分析了两种采样策略：均匀采样与基于数据分布特性的更智能策略，并对两者的准确性进行理论与实验比较。
• 在MNIST数据集上通过马氏距离学习（MMC）验证该方法，其中子采样将训练对数从数十亿减少至数十万对，同时保持测试性能。

实验结果

研究问题

• RQ1 能否开发一种概率框架，通过逐点AUC优化而非全局指标（如AUC）来严格研究相似性学习？
• RQ2 在目标函数涉及U-统计量而非独立同分布平均值的情况下，能否为实证逐点AUC优化问题推导出泛化保证？
• RQ3 在何种分布假设下，可在该约束性相似性学习设置中实现更快的学习速率？
• RQ4 在大规模场景下，基于采样的负风险近似在保持泛化性能与学习速率方面有多有效？
• RQ5 所提出方法能否在大幅减少训练时间的同时，保持大规模数据集（如MNIST）上的高测试性能？

主要发现

• 该论文通过U-过程的集中不等式，建立了无需任何数据分布假设的通用学习速率 $O(1/\sqrt{n})$，适用于逐点AUC优化。
• 在涉及条件分位数边界条件的低噪声假设下，实现了更快的学习速率 $O(n^{-(2+a)/4})$，其中 $a \in (0,1)$。
• 数值实验证实，实践中可观测到更快的速率，且经验泛化速度随 $a$ 增大而下降，表明收敛性改善。
• 基于采样的近似方法使用 $O(n)$ 个负样本对，可保持通用的 $O(1/\sqrt{n})$ 学习速率，从而实现在大规模数据集上的可扩展训练。
• 在 $n=60,000$ 的MNIST数据集上，仅采样 $400,000$ 个负样本对（占总数的0.15n）而非近20亿对，测试集性能损失极小，同时训练时间大幅减少。
• 在不同采样预算下，所提方法均保持高测试性能，证明其在不牺牲统计保证的前提下具备实际可扩展性。