[论文解读] Kernel functions based on triplet comparisons

Matthäus Kleindeßner, Ulrike von Luxburg|arXiv (Cornell University)|Jul 28, 2016

Face and Expression Recognition被引用 6

一句话总结

本文提出了两种基于三元组比较的确定性、无参数核函数，使仅具有相对相似性判断的数据也能使用任意核方法。与序数嵌入不同，这些核函数通过三元组排序一致性实现高维相似性评分，计算速度显著更快，同时在基于地标（landmark-based）设置下保持了具有竞争力的聚类性能。

ABSTRACT

Given only information in the form of similarity triplets "Object A is more similar to object B than to object C" about a data set, we propose two ways of defining a kernel function on the data set. While previous approaches construct a low-dimensional Euclidean embedding of the data set that reflects the given similarity triplets, we aim at defining kernel functions that correspond to high-dimensional embeddings. These kernel functions can subsequently be used to apply any kernel method to the data set.

研究动机与目标

• 为仅提供相对相似性三元组的机器学习任务，开发一种通用的、基于核的序数嵌入替代方法。
• 使任何核方法都能应用于仅提供三元组比较（'A 比 B 更相似于 C'）的数据。
• 设计一种比现有序数嵌入技术更快、更具可扩展性的方法，尤其在基于地标（landmark-based）的设置下。
• 证明基于三元组排序一致性的核函数能够产生有意义且保持结构的相似性评分。

提出的方法

• 第一种核函数 $k_1$ 通过测量两个对象相对于其他所有对象的三元组比较排名之间的 Kendall's tau 相关系数，来计算它们之间的相似性。
• 第二种核函数 $k_2$ 使用两者在相对于第三个对象时排名相似的共享三元组的归一化计数，捕捉相对接近的模式。
• 两种核函数均直接基于给定的三元组集合定义，无需中间的低维嵌入。
• 这些核函数是确定性的且无参数的，避免了序数嵌入方法中常见的数值优化挑战。
• 采用基于地标的（landmark-based）设计，以实现对更大数据集的高效扩展，利用对象子集来高效计算核值。
• 该方法利用了相似对象会产生一致三元组模式的事实，核函数通过排名一致性和共现相似性来量化这些模式。

实验结果

研究问题

• RQ1 能否在不依赖序数嵌入的前提下，直接从三元组比较中构建核函数？
• RQ2 此类核函数是否足够好地保持底层数据结构，以支持下游核方法（如聚类）？
• RQ3 与最先进的序数嵌入算法相比，这些核函数在速度和准确率方面表现如何？
• RQ4 基于地标的核方法设计是否能有效扩展，尤其是在三元组数量有限的情况下？

主要发现

• 所提出的核函数 $k_1$ 和 $k_2$ 产生的相似性评分具有实际意义，能反映数据的真实底层结构，聚类纯度验证了这一点。
• 对于 10,000 个 MNIST 数字，计算 $k_1$ 仅需 100 秒，而最快的序数嵌入算法需要 2,000 秒，显示出显著的速度优势。
• 在 20,000 个数字上，$k_1$ 的计算耗时 900 秒，而 GNMDS 嵌入超过 6,000 秒，凸显了其可扩展性。
• 在基于地标的设置中，核方法在聚类性能上与序数嵌入相当，即使每个数据点的三元组更少。
• 核函数是确定性的且无参数的，避免了基于优化的嵌入方法带来的不稳定性和调参负担。
• 尽管通常需要更多三元组，但基于地标的结构使核方法在数据效率方面能与基于嵌入的方法有效竞争。