[论文解读] Safe Triplet Screening for Distance Metric Learning

Tomoki Yoshida, Ichiro Takeuchi+1 more|arXiv (Cornell University)|Feb 12, 2018

Machine Learning and Algorithms参考文献 5被引用 4

一句话总结

本文提出了一种安全三元组筛选方法用于距离度量学习，可在不牺牲最优性的情况下识别并移除优化过程中的非必要三元组。通过在半定约束下推导出六个基于球体的边界和三种筛选规则，该方法显著加速了训练过程——在基准数据集上实现了高达10倍的加速，同时通过基于对偶性的筛选保证了最优性。

ABSTRACT

We study safe screening for metric learning. Distance metric learning can optimize a metric over a set of triplets, each one of which is defined by a pair of same class instances and an instance in a different class. However, the number of possible triplets is quite huge even for a small dataset. Our safe triplet screening identifies triplets which can be safely removed from the optimization problem without losing the optimality. Compared with existing safe screening studies, triplet screening is particularly significant because of (1) the huge number of possible triplets, and (2) the semi-definite constraint in the optimization. We derive several variants of screening rules, and analyze their relationships. Numerical experiments on benchmark datasets demonstrate the effectiveness of safe triplet screening.

研究动机与目标

• 解决由于小规模数据集中三元组数量呈指数级增长而引发的距离度量学习中的计算瓶颈问题。
• 开发一种安全筛选方法，能够在不损害所学习度量最优性的情况下识别并移除非必要三元组。
• 应对度量学习中的独特挑战，包括度量矩阵的半定约束以及三元组组合的海量规模。
• 将筛选方法扩展至正则化路径，实现在多个正则化参数下的高效计算。
• 提供理论边界与实用筛选规则，确保其紧致性与计算可行性。

提出的方法

• 基于三种不同的对偶性与最优性条件方法，推导出六个最优度量矩阵 $\mathbf{M}^\star$ 必须位于其中的球形区域。
• 提出三种筛选规则——RRPB、PGB以及基于区间的扩展——分别针对度量学习中半定约束的不同公式化形式。
• 利用基于对偶性的边界定义最优解必须存在的区域，从而实现对损失函数位于这些区域之外的三元组的安全剔除。
• 引入一种动态筛选策略，在梯度下降过程中持续更新边界，随时间推移提高筛选效率。
• 提出一种基于区间的扩展方法，允许对正则化参数 $\lambda$ 的区间预先计算筛选规则，减少重复规则评估。
• 将筛选方法与活动集法结合，每十个迭代步更新一次活动集，并通过筛选减少实际处理的三元组数量。

实验结果

研究问题

• RQ1 在存在半定约束且三元组数量庞大的前提下，能否为距离度量学习推导出安全的筛选规则？
• RQ2 在紧致性和筛选性能方面，不同方法对最优度量矩阵 $\mathbf{M}^\star$ 的边界估计效果如何比较？
• RQ3 筛选规则能否扩展至正则化路径，以加速多个 $\lambda$ 值下的计算？
• RQ4 在真实世界距离度量学习任务中，安全三元组筛选对训练时间和收敛速度的实际影响如何？
• RQ5 将筛选方法与活动集法结合后，对整体优化效率有何影响？

主要发现

• 安全三元组筛选在优化过程中减少了处理的三元组数量，同时保证最优度量被完整保留。
• 当与活动集方法结合时，该方法在 phishing、a9a 和 cifar10 等基准数据集上实现了高达10倍的加速。
• 基于PGB规则的动态筛选在优化后期（梯度下降迭代次数增加时）的筛选率高于RRPB。
• 基于区间的扩展方法实现了 $\lambda$ 区间内的高效筛选，减少了重复规则评估，提升了正则化路径计算的可扩展性。
• 在 segment 数据集上，基于区间的该方法在小 $\lambda$ 值下实现了高筛选率，且精度保持在 $10^{-6}$ 水平。
• 实验结果表明，尽管增加了额外计算，RRPB+PGB 的组合在 CPU 时间上仍优于 RRPB 单独使用，主要得益于更高的筛选效率。