[论文解读] Efficient Algorithms for t-distributed Stochastic Neighborhood Embedding

George C. Linderman, Manas Rachh+3 more|arXiv (Cornell University)|Dec 25, 2017

Stochastic Gradient Optimization Techniques参考文献 19被引用 186

一句话总结

本文提出 FIt-SNE，一种基于 FFT 加速的插值式 t-SNE 方法，用于对大规模高维数据进行快速、可扩展嵌入；此外还提出离线 PCA 方法（oocPCA）和延迟夸张以改进簇分离。

ABSTRACT

t-distributed Stochastic Neighborhood Embedding (t-SNE) is a method for dimensionality reduction and visualization that has become widely popular in recent years. Efficient implementations of t-SNE are available, but they scale poorly to datasets with hundreds of thousands to millions of high dimensional data-points. We present Fast Fourier Transform-accelerated Interpolation-based t-SNE (FIt-SNE), which dramatically accelerates the computation of t-SNE. The most time-consuming step of t-SNE is a convolution that we accelerate by interpolating onto an equispaced grid and subsequently using the fast Fourier transform to perform the convolution. We also optimize the computation of input similarities in high dimensions using multi-threaded approximate nearest neighbors. We further present a modification to t-SNE called "late exaggeration," which allows for easier identification of clusters in t-SNE embeddings. Finally, for datasets that cannot be loaded into the memory, we present out-of-core randomized principal component analysis (oocPCA), so that the top principal components of a dataset can be computed without ever fully loading the matrix, hence allowing for t-SNE of large datasets to be computed on resource-limited machines.

研究动机与目标

• 提高 t-SNE 对极大数据集（数十万到数百万点）的计算速度。
• 开发高效的 t-SNE 输入相似性和排斥力计算方法。
• 通过延迟夸张及相关策略提高 t-SNE 嵌入中的簇分离。
• 提供离线 PCA 以在内存无法容纳的数据集上实现 t-SNE。
• 提供实用的可视化工具（1D/2D t-SNE 热图）和可扩展的软件实现。

提出的方法

• 通过将排斥力插值到等距网格并使用 FFT 进行卷积，进行 FFT 加速的基于插值的排斥力计算。
• 采用低阶（p=3）分段多项式核插值来近似 N-body 相互作用。
• 使用平移不变核（K1 和 K2）和 Toeplitz 结构以实现 FFT 加速。
• 使用近似最近邻策略（ANNOY）来计算输入相似性并减少吸引力计算。
• 在后期迭代中引入延迟夸张（alpha>1）以改善簇分离。
• 离线随机 PCA（oocPCA）以在不将完整数据矩阵加载到内存中的情况下计算前几个分量。

实验结果

研究问题

• RQ1 在保持嵌入质量的同时，t-SNE 能否扩展到具有数百万点的数据集？
• RQ2 如何在不牺牲准确性的前提下，将 t-SNE 的排斥力计算加速到 Barnes-Hut 之上？
• RQ3 在不损失本质局部几何的情况下，能否使用近似最近邻让输入相似性计算更快？
• RQ4 使用延迟夸张是否能提高 t-SNE 嵌入的簇分离性和可解释性？
• RQ5 是否存在一种内存高效的流程（离线 PCA），使得在数据集无法全部加载进内存的情况下也能实现 t-SNE？

主要发现

• 与 Barnes-Hut t-SNE 在大数据集（如 100 万点）相比，FIt-SNE 在一维上实现最多 15 倍加速，二维上实现最多 30 倍加速。
• FFT 加速的插值将排斥力计算从二次时间复杂度降至接近线性时间，复杂度为 O(N·p + (N_int·p) log(N_int·p)).
• 使用近似最近邻（ANNOY）来计算输入相似性，在加速吸引力计算的同时保留局部结构。
• 后期迭代中的延迟夸张（alpha > 1）改善了 t-SNE 嵌入的簇分离性和可解释性。
• t-SNE 热图使 1D 嵌入能够以紧凑的热图状可视化传达基因表达信息。
• 离线 PCA（oocPCA）实现无需加载完整矩阵即可计算前几个分量，在具有较强内存约束的非常大矩阵上得到演示。