[论文解读] Attraction-Repulsion Spectrum in Neighbor Embeddings

Jan Niklas Böhm, Philipp Berens+1 more|arXiv (Cornell University)|Jul 17, 2020

Single-cell and spatial transcriptomics被引用 32

一句话总结

论文通过在 t-SNE 中改变 attraction strength（exaggeration parameter）来揭示邻居嵌入的 attraction-repulsion 谱，展示 UMAP 和 ForceAtlas2 映射到该谱，并通过负采样解释 UMAP 的行为。

ABSTRACT

Neighbor embeddings are a family of methods for visualizing complex high-dimensional datasets using $k$NN graphs. To find the low-dimensional embedding, these algorithms combine an attractive force between neighboring pairs of points with a repulsive force between all points. One of the most popular examples of such algorithms is t-SNE. Here we empirically show that changing the balance between the attractive and the repulsive forces in t-SNE using the exaggeration parameter yields a spectrum of embeddings, which is characterized by a simple trade-off: stronger attraction can better represent continuous manifold structures, while stronger repulsion can better represent discrete cluster structures and yields higher $k$NN recall. We find that UMAP embeddings correspond to t-SNE with increased attraction; mathematical analysis shows that this is because the negative sampling optimisation strategy employed by UMAP strongly lowers the effective repulsion. Likewise, ForceAtlas2, commonly used for visualizing developmental single-cell transcriptomic data, yields embeddings corresponding to t-SNE with the attraction increased even more. At the extreme of this spectrum lie Laplacian Eigenmaps. Our results demonstrate that many prominent neighbor embedding algorithms can be placed onto the attraction-repulsion spectrum, and highlight the inherent trade-offs between them.

研究动机与目标

• 统一 prominent neighbor-embedding 方法（t-SNE、UMAP、ForceAtlas2、Laplacian eigenmaps）在一个共同的 attraction-repulsion 框架下。
• 研究改变 attraction（exaggeration）如何改变对连续流形与离散簇的表示。
• 表征 UMAP 与 FA2 在 attraction-repulsion 谱上的位置，并通过优化选择解释偏离。
• 量化方法与数据集在局部邻域保持与全局结构之间的取舍。

提出的方法

• 在一个通用的 NE 框架下，推导并比较 t-SNE、UMAP、FA2、Laplacian eigenmaps 的梯度/损失形式。
• 引入并分析在 t-SNE 中缩放吸引力力的 exaggeration 参数 rho。3.3-3.5 节提供函数形式及与 LE 的联系。
• 通过 MNIST 和合成/发育阶段的单细胞数据集，展示随着 rho 增大吸引力增强、结构更类似连续体；而 rho 减小则保留簇。
• 证明 UMAP 的负采样通过降低有效排斥力来实际增加吸引力，并将其与其在谱上的嵌入联系起来。
• 使用距离相关性（distance correlation）和 k-NN recall 来量化各方法及不同 rho 值下的布局相似性与局部邻域保持。
• 提供使用开源代码（ne-spectrum）和标准数据集的实现与可重复分析。

实验结果

研究问题

• RQ1 不同的 NE 算法（t-SNE、UMAP、FA2、LE）在 attraction-repulsion 谱内如何相关？
• RQ2 在 t-SNE 中增加或减少吸引力（exaggeration）时，会出现哪些嵌入特征？
• RQ3 UMAP 和 FA2 能否被刻画为 t-SNE 谱上的特定点，它们的位置如何解释？
• RQ4 优化选择（UMAP 的负采样、FA2 的边缘排斥）对实际排斥力/吸引力平衡有什么影响？
• RQ5 谱在跨数据集（如 MNIST、脑类器官、其他图像数据集）上对表示连续流形结构与离散簇结构之间的权衡作用如何？

主要发现

• 存在一个由 t-SNE 中的 exaggeration 参数 rho 控制的 neighbor embedding 的 attraction-repulsion 谱。
• 更高的吸引力（rho>1）更好地保持连续的流形结构，而更高的排斥力（较低 rho）强调离散簇并增加 k-NN recall 的失真。
• UMAP 的嵌入在中等吸引力下（rho 约为 4）类似于 t-SNE，而 ForceAtlas2 在非常高的吸引力下（rho 约为 30）类似于 t-SNE。
• Increasing rho 最终在极限下得到与 Laplacian eigenmaps 相近的嵌入。
• UMAP 的负采样降低了实际排斥力，解释了其布局为何与原始的交叉熵损失不同；gamma 与 m 控制排斥强度。
• k-NN recall 随 rho 增大而单调下降，表明在谱上的全局结构与局部邻域保持之间存在权衡。
• 在多个数据集（MNIST、脑类器官、其他图像数据集）中，UMAP/FA2 与 t-SNE 嵌入之间的距离相关性在特征 rho 区间达到峰值（UMAP ~4，FA2 ~30）。