[论文解读] A more globally accurate dimensionality reduction method using triplets

Ehsan Amid, Manfred K. Warmuth|arXiv (Cornell University)|Mar 1, 2018

Face and Expression Recognition参考文献 14被引用 8

一句话总结

该论文提出TriMap，一种新颖的降维方法，通过使用基于三元组的约束而非t-SNE和LargeVis中使用的成对相似性，来提升全局结构保持能力。TriMap在捕捉全局数据组织、揭示异常值以及在不同数据集上保持聚类间平滑过渡方面优于现有方法，其在全局结构测试中显著更低的AUC分数表明性能更优。

ABSTRACT

We first show that the commonly used dimensionality reduction (DR) methods such as t-SNE and LargeVis poorly capture the global structure of the data in the low dimensional embedding. We show this via a number of tests for the DR methods that can be easily applied by any practitioner to the dataset at hand. Surprisingly enough, t-SNE performs the best w.r.t. the commonly used measures that reward the local neighborhood accuracy such as precision-recall while having the worst performance in our tests for global structure. We then contrast the performance of these two DR method against our new method called TriMap. The main idea behind TriMap is to capture higher orders of structure with triplet information (instead of pairwise information used by t-SNE and LargeVis), and to minimize a robust loss function for satisfying the chosen triplets. We provide compelling experimental evidence on large natural datasets for the clear advantage of the TriMap DR results. As LargeVis, TriMap scales linearly with the number of data points.

研究动机与目标

• 为解决t-SNE和LargeVis等现有降维方法在保持全局数据结构方面的关键局限性，尽管其局部邻域保持能力很强。
• 开发一种可扩展、全局准确的降维方法，以捕捉超越成对相似性的高阶关系。
• 提出一种稳健的、基于三元组的优化框架，保持线性可扩展性的同时提升可视化保真度。
• 为实践者提供一种可靠、可测试的方法，用于评估降维结果中全局结构保持的准确性。
• 证明全局结构比局部度量对有意义的数据可视化更具信息量。

提出的方法

• TriMap使用三元组约束——通过比较三个点之间的相对距离——来建模数据中的高阶关系，从而超越t-SNE和LargeVis所采用的成对相似性。
• 该方法最小化一个鲁棒的三元组损失函数，并通过阻尼函数进行截断，以提升稳定性和泛化能力。
• 它采用可微分的损失函数，促使低维嵌入反映高维空间中点的相对排序。
• 算法使用带有自适应学习率的批量梯度下降进行优化，支持在大规模数据集上收敛。
• 在需要时，利用PCA进行初始降维，并使用Balltree算法高效计算k-最近邻。
• 通过使用子采样和高效的邻居搜索，该方法保持线性时间复杂度，与LargeVis相当，确保可扩展性。

实验结果

研究问题

• RQ1 与成对方法相比，基于三元组的约束是否能显著提升降维中的全局结构保持能力？
• RQ2 尽管具有强大的局部邻域准确性，t-SNE和LargeVis在全局结构任务中的表现如何？
• RQ3 一个稳健的、基于三元组的损失函数是否能优于基于成对相似性的方法，以揭示有意义的聚类组织和异常值？
• RQ4 TriMap是否在保持线性可扩展性的同时实现更优的全局可视化保真度？
• RQ5 基于自然数据变换的可视化与定量测试是否能可靠评估降维方法的全局准确性？

主要发现

• 在全局结构测试中，TriMap的AUC分数显著更低（如完整MNIST数据集上为0.036），而t-SNE为0.130，LargeVis为0.062，表明其具有更优的全局结构保持能力。
• 在Epileptic Seizure Recognition数据集上，TriMap展现出不同生理状态之间的平滑过渡，而t-SNE和LargeVis未能保持此类全局模式。
• 在Fashion MNIST数据集上，TriMap保持了连贯的类别聚类及平滑过渡，而t-SNE和LargeVis则产生了虚假且碎片化的子聚类。
• 在380k+歌词数据集上，TriMap揭示了多层结构和异常值，而t-SNE和LargeVis则将此类复杂性掩盖在单一密集聚集中。
• 在DBLP合作网络上，TriMap生成了比LargeVis更清晰、更连贯的结构，而LargeVis倾向于将异常值聚合成小而人为的簇。
• 在所有数据集上，TriMap在保持聚类相对位置和识别远距离异常值方面均持续优于t-SNE和LargeVis，即使在局部度量（如精确率-召回率）更有利于t-SNE的情况下也是如此。