[论文解读] A Unifying Perspective on Neighbor Embeddings along the Attraction-Repulsion Spectrum

Niklas Böhm, Philipp Berens+1 more|arXiv (Cornell University)|May 4, 2021

Single-cell and spatial transcriptomics参考文献 49被引用 26

一句话总结

本文提出一个统一框架，将邻居嵌入算法——包括 t-SNE、UMAP、ForceAtlas2 和拉普拉斯特征映射——置于由吸引力与排斥力平衡定义的连续谱上。该研究表明，更强的吸引力有助于保持流形结构，而更强的排斥力则有助于改善聚类分离，且证明 UMAP 和 ForceAtlas2 与 t-SNE 在吸引力增强时的表现一致，这是由于其负采样策略所致。

ABSTRACT

Neighbor embeddings are a family of methods for visualizing complex high-dimensional datasets using kNN graphs. To find the low-dimensional embedding, these algorithms combine an attractive force between neighboring pairs of points with a repulsive force between all points. One of the most popular examples of such algorithms is t-SNE. Here we empirically show that changing the balance between the attractive and the repulsive forces in t-SNE yields a spectrum of embeddings, which is characterized by a simple trade-off: stronger attraction can better represent continuous manifold structures, while stronger repulsion can better represent discrete cluster structures. We find that UMAP embeddings correspond to t-SNE with increased attraction; mathematical analysis shows that this is because the negative sampling optimisation strategy employed by UMAP strongly lowers the effective repulsion. Likewise, ForceAtlas2, commonly used for visualizing developmental single-cell transcriptomic data, yields embeddings corresponding to t-SNE with the attraction increased even more. At the extreme of this spectrum lies Laplacian Eigenmaps, corresponding to zero repulsion. Our results demonstrate that many prominent neighbor embedding algorithms can be placed onto this attraction-repulsion spectrum, and highlight the inherent trade-offs between them.

研究动机与目标

• 理解控制 t-SNE、UMAP 和 ForceAtlas2 等邻居嵌入算法的基本作用力。
• 识别在低维嵌入中保持连续流形结构与离散聚类结构之间的权衡。
• 基于作用力平衡，将多种邻居嵌入方法统一于单一理论框架之下。
• 解释为何 UMAP 和 ForceAtlas2 尽管目标相似，却与 t-SNE 产生不同的可视化结果。

提出的方法

• 作者通过在优化目标中调节吸引力与排斥力之间的平衡，分析 t-SNE 中的作用力动态。
• 他们通过在不同作用力平衡下对结果嵌入进行经验评估，以衡量其在流形结构与聚类结构保持方面的性能。
• 通过分析其优化目标，特别是负采样策略，将 UMAP 和 ForceAtlas2 与 t-SNE 进行比较。
• 他们从数学上证明，UMAP 中的负采样会降低有效排斥力，使其更接近该谱系的高吸引力端。
• 他们识别出拉普拉斯特征映射是该谱系中排斥力为零的极限情况。
• 他们使用 kNN 图来建模邻域关系，并推导出基于作用力的嵌入优化目标。

实验结果

研究问题

• RQ1 吸引力与排斥力之间的平衡如何影响邻居嵌入算法在低维嵌入中的质量？
• RQ2 为何 UMAP 和 ForceAtlas2 尽管具有相似的可视化目标，却与 t-SNE 产生不同的可视化结果？
• RQ3 UMAP 和 ForceAtlas2 是否可被理解为具有修改后作用力平衡的 t-SNE 变体？
• RQ4 UMAP 中的负采样与嵌入空间中有效排斥力水平之间存在何种理论关系？
• RQ5 拉普拉斯特征映射及其他经典方法在邻居嵌入的吸引力-排斥力谱中处于何处？

主要发现

• 在 t-SNE 中增强吸引力可改善嵌入空间中连续流形结构的保持。
• 增强排斥力可提升嵌入中离散聚类结构的分离效果。
• UMAP 嵌入对应于吸引力显著增强的 t-SNE，这是由于其负采样策略降低了有效排斥力。
• ForceAtlas2 对应于吸引力更强的 t-SNE，使其在高吸引力端谱系中更进一步。
• 拉普拉斯特征映射是 t-SNE 在排斥力为零时的极限情况，代表了仅吸引力优化的极端情形。
• 整个邻居嵌入算法家族均可通过吸引力-排斥力平衡定义的单一框架统一起来。