[论文解读] Low-dimensional Data Embedding via Robust Ranking

Ehsan Amid, Nikos Vlassis+1 more|arXiv (Cornell University)|Nov 30, 2016

Bayesian Modeling and Causal Inference参考文献 13被引用 4

一句话总结

该论文提出 t-ETE，一种鲁棒的低维嵌入方法，将基于三元组的相似性约束建模为联合排序问题。通过使用 t-指数族的鲁棒损失函数，t-ETE 在噪声鲁棒性与局部结构保持方面优于 t-SNE 和 t-STE，同时优化过程更快、更稳定。

ABSTRACT

We describe a new method called t-ETE for finding a low-dimensional embedding of a set of objects in Euclidean space. We formulate the embedding problem as a joint ranking problem over a set of triplets, where each triplet captures the relative similarities between three objects in the set. By exploiting recent advances in robust ranking, t-ETE produces high-quality embeddings even in the presence of a significant amount of noise and better preserves local scale than known methods, such as t-STE and t-SNE. In particular, our method produces significantly better results than t-SNE on signature datasets while also being faster to compute.

研究动机与目标

• 解决现有三元组嵌入方法（如 t-STE 和 t-SNE）在面对人类提供的不一致或含噪声的相似性三元组时鲁棒性差的问题。
• 开发一种即使在三元组约束中存在高噪声水平时，也能有效保持局部与全局数据结构的方法。
• 相比依赖复杂优化启发式方法（如动量和早期放大）的 t-SNE，提升优化的稳定性和收敛速度。
• 通过从高维数据中采样具有信息量的三元组，并利用加权三元组重要性将其嵌入低维空间，实现有效的降维。
• 证明：通过精心选择的小型三元组子集，可保留足够数据结构，以实现高质量的可视化与聚类。

提出的方法

• 将三元组嵌入问题建模为联合排序任务，其中每个三元组 (i,j,k) 表示对象 j 应被排在比对象 k 更接近 i 的位置。
• 基于嵌入空间中的相对距离定义三元组损失函数，初始时无界，但通过广义对数函数变换以限制损失范围，确保鲁棒性。
• 使用 t-指数族分布建模损失，继承 t-STE 的重尾特性，从而更好地处理异常值并保持局部结构。
• 引入加权版本的方法，其中每个三元组根据其重要性被赋予非负权重，从而支持高效子集采样以实现降维。
• 使用标准梯度下降法优化嵌入，实现比 t-SNE 更快、更稳定的收敛，且无需使用动量或早期放大等复杂优化技术。
• 通过从高维数据中为每个点采样 m=20 个（COIL-20 数据集为 m=10）三元组，并学习一个尊重排序约束的二维嵌入，应用于降维任务。

实验结果

研究问题

• RQ1 与 t-STE 和 t-SNE 等现有方法相比，基于排序的三元组嵌入方法是否能在噪声环境下表现出更强的鲁棒性？
• RQ2 在低维嵌入中，一个小的、加权的三元组子集在在多大程度上能保持高维数据的全局与局部结构？
• RQ3 基于 t-指数族的鲁棒损失函数是否相比标准方法能提升收敛性与稳定性？
• RQ4 在含噪声条件下，t-ETE 在可视化复杂数据结构（如流形，例如瑞士卷；以及聚类，例如 MNIST、USPS）方面表现如何？
• RQ5 t-ETE 是否能在保持或提升最近邻准确率的同时，在可视化质量与计算效率方面优于 t-SNE？

主要发现

• 即使维度数量增加，t-ETE 在泛化误差与最近邻误差方面均保持高性能，表明其具备出色的可扩展性与结构保持能力。
• 在 20% 三元组被反转的噪声数据上，t-ETE 性能几乎不变，而 t-STE 无法生成有意义的嵌入，显示出显著更强的鲁棒性。
• 在 Food 数据集上，t-ETE 成功揭示了三个明显不同的聚类（蔬菜、冰淇淋/甜点、面包/饼干），而 t-STE 未能显示出清晰的聚类结构。
• 在 Music 数据集上，t-ETE 的最近邻误差为 0.52，低于 t-STE 的 0.63，表明其更好地保持了邻域结构。
• 在降维任务中，t-ETE 比 t-SNE 更准确地保持了底层流形结构（如瑞士卷、球面）与聚类结构（如 USPS、COIL-20），而 t-SNE 常常撕裂流形或分裂聚类。
• t-ETE 使用简单的梯度下降法实现更快、更稳定的收敛，无需使用 t-SNE 中依赖的复杂优化技术（如动量或早期放大）。