[论文解读] Lens depth function and k-relative neighborhood graph: versatile tools for ordinal data analysis

Matthäus Kleindeßner, Ulrike von Luxburg|arXiv (Cornell University)|Feb 23, 2016

Advanced Statistical Methods and Models参考文献 52被引用 10

一句话总结

本文提出了透镜深度函数（LDF）和k-相对邻域图（k-RNG），作为直接、高效的工具，用于分析仅能获取相对差异比较（如 d(A,B) < d(C,D)）的序数数据——无需序数嵌入。所提出的中位点估计、异常检测、聚类和分类算法速度更快，避免了嵌入的陷阱，且在高维数据中保持了高精度，经实证验证并提出了信息恢复的猜想。

ABSTRACT

In recent years it has become popular to study machine learning problems in a setting of ordinal distance information rather than numerical distance measurements. By ordinal distance information we refer to binary answers to distance comparisons such as $d(A,B)

研究动机与目标

• 解决在仅能获取序数距离比较（如 d(A,B) < d(C,D)）而非数值距离时，执行机器学习任务（如中位点估计、聚类、分类与异常检测）的挑战。
• 克服序数嵌入方法的局限性，包括计算成本高、维度选择困难以及潜在的信息损失。
• 开发直接基于比较的算法，直接在序数数据上操作，无需将其转换为欧几里得空间。
• 证明透镜深度与k-RNG在序数数据设置下，可作为嵌入方法的稳健、可扩展且可并行化的替代方案。
• 探索在高内在维度下，直接从序数比较解决局部机器学习问题的理论与实际可行性。

提出的方法

• 通过计算包含目标点的三元组所形成的透镜形区域的数量，利用透镜深度函数（LDF）来估计数据点的中心性。
• 通过仅使用距离的序数比较，构建每个点与其在相对邻域结构中的k个最近邻之间的连接，形成k-相对邻域图（k-RNG）。
• 直接基于LDF与k-RNG构建中位点估计、异常检测、聚类与分类算法，避免了序数嵌入的需要。
• 方法依赖于一组形式为 d(A,B) < d(C,D) 的序数比较，这些比较可预先收集或在主动学习设置中自适应查询。
• 理论分析与实证评估表明，即使缺乏基数距离，LDF与k-RNG仍能保留足够的几何结构以支持机器学习任务。
• 提出一个猜想：对于 R^m 中的数据（m ≥ 2），所有形式为 d(A,B) < d(C,D) 的序数比较在渐近意义上可保持完整的几何构型，至相似变换为止，意味着在高维设置下无信息损失。

实验结果

研究问题

• RQ1 是否可以仅使用形式为 d(A,B) < d(C,D) 的序数比较，无需嵌入到欧几里得空间，高效且准确地解决中位点估计与异常检测等机器学习任务？
• RQ2 在序数数据上，透镜深度函数与k-相对邻域图相较于序数嵌入方法，在速度、准确率与鲁棒性方面表现如何？
• RQ3 在具有更高内在维度的数据中，几何信息在序数比较中能被多大程度地保留？
• RQ4 所提出的算法能否适应主动学习设置，即自适应地选择比较查询以提升性能？
• RQ5 在高维欧几里得空间中，序数比较与原始数据几何结构可恢复性之间的理论关系是什么？

主要发现

• 透镜深度函数与k-相对邻域图可直接从序数比较中实现准确的中位点估计与异常检测，其在速度与可扩展性方面优于基于嵌入的方法。
• 所提算法显著快于序数嵌入，且易于并行化，适用于大规模数据。
• 实证结果表明，当仅能获取相对距离比较时，LDF与k-RNG在聚类与分类任务中仍能保持高准确率。
• 提出一个猜想：对于 R^m 中的数据（m ≥ 2），所有形式为 d(A,B) < d(C,D) 的序数比较在渐近意义上可保持完整的几何结构，至相似变换为止，意味着在高维设置下无信息损失。
• 该方法避免了序数嵌入的陷阱，如维度选择与高计算成本，同时在局部机器学习问题上保持了强劲性能。
• 理论与实证证据支持：当内在维度较高时，形式为 d(A,B) < d(C,D) 的序数数据包含足够信息以重建数据的几何结构。