[论文解读] From $t$-SNE to UMAP with contrastive learning

Sebastian Damrich, Jan Niklas Böhm+2 more|arXiv (Cornell University)|Jun 3, 2022

Data Visualization and Analytics被引用 4

一句话总结

本文通过对比学习，建立了 t-SNE 与 UMAP 之间的概念性联系，表明 t-SNE 使用噪声对比估计（NCE），而 UMAP 使用负采样（NEG），后者引入了导致聚类更紧密、更紧凑的畸变。作者提出通过在这些方法之间插值，构建统一的嵌入谱系，从而实现局部与全局结构之间的可控权衡，并提高对单一嵌入结果过度解读的鲁棒性。

ABSTRACT

Neighbor embedding methods $t$-SNE and UMAP are the de facto standard for visualizing high-dimensional datasets. Motivated from entirely different viewpoints, their loss functions appear to be unrelated. In practice, they yield strongly differing embeddings and can suggest conflicting interpretations of the same data. The fundamental reasons for this and, more generally, the exact relationship between $t$-SNE and UMAP have remained unclear. In this work, we uncover their conceptual connection via a new insight into contrastive learning methods. Noise-contrastive estimation can be used to optimize $t$-SNE, while UMAP relies on negative sampling, another contrastive method. We find the precise relationship between these two contrastive methods and provide a mathematical characterization of the distortion introduced by negative sampling. Visually, this distortion results in UMAP generating more compact embeddings with tighter clusters compared to $t$-SNE. We exploit this new conceptual connection to propose and implement a generalization of negative sampling, allowing us to interpolate between (and even extrapolate beyond) $t$-SNE and UMAP and their respective embeddings. Moving along this spectrum of embeddings leads to a trade-off between discrete / local and continuous / global structures, mitigating the risk of over-interpreting ostensible features of any single embedding. We provide a PyTorch implementation.

研究动机与目标

• 阐明 t-SNE 与 UMAP 之间的概念关系，尽管两者长期被视为无关，但均用于降维。
• 通过分析其底层的对比学习方法（NCE 与 NEG），识别 t-SNE 与 UMAP 在结构差异上的数学根源。
• 开发一种广义的嵌入框架，可在 t-SNE 与 UMAP 之间插值，实现对局部与全局数据结构的可控探索。
• 通过识别并校正负采样引入的畸变，解决 UMAP 中的不稳定性问题。
• 提供一个统一的、开源的 PyTorch 实现，用于对比邻居嵌入。

提出的方法

• 将 t-SNE 重新表述为噪声对比估计（NCE），从而可与 UMAP 的负采样（NEG）方法进行直接比较。
• 推导出 NCE 与 NEG 之间的精确数学关系，表明 NEG 在相似性空间中引入了系统性畸变。
• 引入一种广义嵌入框架，使用可调的归一化常数 $\bar{Z}$ 实现 t-SNE（$\bar{Z} = Z^{t\text{-SNE}}$）与 UMAP（$\bar{Z} = |X|/m$）之间的插值。
• 实现一种基于采样的优化方法，该方法广义化了 t-SNE 与 UMAP，支持在嵌入谱系中实现平滑过渡。
• 在新框架中应用类似早期夸张的策略，以稳定训练，尤其适用于低 $\bar{Z}$ 值的情况。
• 提供基于 PyTorch 的实现，支持非参数与参数化变体，包括 NC- 和 InfoNC-t-SNE。

实验结果

研究问题

• RQ1 在损失函数与可视化结果显著不同的情况下，t-SNE 与 UMAP 之间存在何种根本性的概念关系？
• RQ2 UMAP 中的负采样在数学上如何区别于 t-SNE 中的噪声对比估计？其导致的畸变是什么？
• RQ3 能否构建一个连续的嵌入谱系，实现 t-SNE 与 UMAP 之间的插值，从而实现对局部与全局结构的可控探索？
• RQ4 所提出的框架是否能缓解 UMAP 中的不稳定性问题，特别是在聚类分离与紧凑性方面？
• RQ5 与现有对比方法相比，新框架在保持邻域结构与全局拓扑方面表现如何？

主要发现

• UMAP 中负采样引入的畸变导致其聚类比使用噪声对比估计的 t-SNE 更紧凑、更分离。
• 当 $\bar{Z} = Z^{t\text{-SNE}}$ 时，广义嵌入近似于 t-SNE；当 $\bar{Z} = |X|/m$ 时，其行为与 UMAP 一致。
• NC- 和 InfoNC-t-SNE 的实现相比标准 t-SNE 显示出更高的稳定性，并降低了对早期夸张策略的依赖。
• 更长的优化时间显著提升了 Neg-t-SNE 嵌入的质量，Kuzushiji-49 数据集上经过 10,000 个周期后，KL 散度从 5.52 降低至 4.65。
• NC- 和 InfoNC-t-SNE 中更高的噪声样本数（$m$）在不降低斯皮尔曼等级相关系数的前提下，提升了 k-NN 召回率，表明局部结构得到更好保留。
• 所提出的嵌入谱系使用户能够系统性地探索离散局部结构与连续全局结构之间的权衡，降低对单一可视化结果过度解读的风险。