[论文解读] An Analysis of the t-SNE Algorithm for Data Visualization

Sanjeev Arora, Wei Hu+1 more|arXiv (Cornell University)|Mar 5, 2018

Topological and Geometric Data Analysis参考文献 28被引用 82

一句话总结

本文为通过二维嵌入进行数据可视化提供了一个形式框架，并在良好分离、球形簇假设下证明了对 t-SNE 的可证明保证，且包括高斯混合和对数凹分布的应用。

ABSTRACT

A first line of attack in exploratory data analysis is data visualization, i.e., generating a 2-dimensional representation of data that makes clusters of similar points visually identifiable. Standard Johnson-Lindenstrauss dimensionality reduction does not produce data visualizations. The t-SNE heuristic of van der Maaten and Hinton, which is based on non-convex optimization, has become the de facto standard for visualization in a wide range of applications. This work gives a formal framework for the problem of data visualization - finding a 2-dimensional embedding of clusterable data that correctly separates individual clusters to make them visually identifiable. We then give a rigorous analysis of the performance of t-SNE under a natural, deterministic condition on the "ground-truth" clusters (similar to conditions assumed in earlier analyses of clustering) in the underlying data. These are the first provable guarantees on t-SNE for constructing good data visualizations. We show that our deterministic condition is satisfied by considerably general probabilistic generative models for clusterable data such as mixtures of well-separated log-concave distributions. Finally, we give theoretical evidence that t-SNE provably succeeds in partially recovering cluster structure even when the above deterministic condition is not met.

研究动机与目标

• 将可视化任务形式化为寻找一个能使真实簇在视觉上可分离的 2D 嵌入。
• 确定 t-SNE 在可聚簇数据上可证明地得到完整可视化的确定性条件。
• 证明这些条件被高斯混合和对数凹分布所满足。
• 提供证据表明即使条件未完全满足，t-SNE 也能部分恢复簇结构。

提出的方法

• 为聚簇数据的 2D 嵌入定义可见性和完整可视化的精确定义。
• 引入 γ-球形和 γ-良分离数据条件，并将其与簇可视化保证联系起来。
• 分析带有早期夸张的 t-SNE，并导出类似于在成对相似度矩阵上的幂法的更新动力学。
• 证明在这些条件下，簇质心保持分离而簇内点收缩，从而实现完整可视化。
• 将理论应用于各向同性高斯混合和对数凹分布，推导分离尺度（例如对高斯为 ~d1/4）来保证可视化。

实验结果

研究问题

• RQ1 在数据的哪些确定性条件下，带有早期夸张的 t-SNE 能产生簇的完整 2D 可视化？
• RQ2 这些条件是否在常见生成模型（如高斯混合或对数凹分布）中成立？
• RQ3 当理想条件失效时，t-SNE 是否至少能可视化某些簇？
• RQ4 在高维中，Visualization 保证与线性降维方法相比如何？

主要发现

• 对于 γ-球形且 γ-良分离的簇数据，簇大小至少为 0.1(n/k) 且 k ≪ n1/5，带有早期夸张的 t-SNE 以高概率输出完整可视化。
• 分析显示簇内点收缩而簇间质心保持分离，确保簇在视觉上的清晰区分。
• 推论表明来自 k 个各向同性高斯混合的独立同分布样本且均值间距约为 ~d1/4 时可得到完整可视化，类似地来自各向同性对数凹分布的混合且分离程度为 ~d5/12 也可实现。
• t-SNE 的行为被成对亲和矩阵上的幂法样更新紧密近似，为理论保证提供支撑。
• 即使确定性分离条件失效，在某些同心高斯混合下，t-SNE 仍可提供部分可视化，至少恢复一个簇。
• 结果扩展到非各向同性的对数凹混合，并暗示在各向同性设置之外也有更广泛的适用性。