[论文解读] Linear tSNE optimization for the Web.

Nicola Pezzotti, Alexander Mordvintsev+4 more|arXiv (Cornell University)|May 28, 2018

Tensor decomposition and applications被引用 6

一句话总结

本文提出了一种基于WebGL和TensorFlow.js的线性复杂度tSNE优化方法，通过在每个优化迭代中使用自适应分辨率纹理近似排斥力，并在浏览器中加速张量运算，实现了大规模数据集的实时、客户端tSNE可视化。该方法在无需服务端计算的情况下实现了交互式性能，优于以往的可扩展tSNE方法。

ABSTRACT

The t-distributed Stochastic Neighbor Embedding (tSNE) algorithm has become in recent years one of the most used and insightful techniques for the exploratory data analysis of high-dimensional data. tSNE reveals clusters of high-dimensional data points at different scales while it requires only minimal tuning of its parameters. Despite these advantages, the computational complexity of the algorithm limits its application to relatively small datasets. To address this problem, several evolutions of tSNE have been developed in recent years, mainly focusing on the scalability of the similarity computations between data points. However, these contributions are insufficient to achieve interactive rates when visualizing the evolution of the tSNE embedding for large datasets. In this work, we present a novel approach to the minimization of the tSNE objective function that heavily relies on modern graphics hardware and has linear computational complexity. Our technique does not only beat the state of the art, but can even be executed on the client side in a browser. We propose to approximate the repulsion forces between data points using adaptive-resolution textures that are drawn at every iteration with WebGL. This approximation allows us to reformulate the tSNE minimization problem as a series of tensor operation that are computed with TensorFlow.js, a JavaScript library for scalable tensor computations.

研究动机与目标

• 解决tSNE高计算复杂度的问题，以克服其在大规模数据集上应用的限制。
• 实现在Web浏览器中直接对大规模数据集进行交互式、实时的tSNE可视化。
• 通过利用图形硬件加速重新表述力的计算，降低tSNE优化的时间开销。
• 在保持嵌入质量的同时，实现tSNE最小化过程的线性计算复杂度。
• 使高级tSNE可视化在无需服务端依赖的客户端平台上成为可能。

提出的方法

• 在每个优化迭代中，通过WebGL渲染自适应分辨率纹理来近似tSNE的排斥力。
• 将tSNE目标最小化重新表述为一系列使用TensorFlow.js执行的张量运算。
• 利用现代图形硬件加速高维数据中成对交互的计算。
• 使用基于纹理的数据结构，高效表示和更新数据点之间的力贡献。
• 将WebGL渲染与基于JavaScript的张量计算集成，以实现在客户端执行。
• 通过GPU加速的纹理采样和插值优化内存访问与计算。

实验结果

研究问题

• RQ1 是否可以仅使用客户端Web技术，将tSNE优化加速至交互速率？
• RQ2 是否可以在保持嵌入质量的同时，将tSNE的计算复杂度降低至线性时间？
• RQ3 自适应分辨率纹理近似是否能有效替代tSNE中的精确力计算？
• RQ4 是否可以在无需服务端支持的情况下，在浏览器中完成完整的tSNE优化？
• RQ5 与现有可扩展tSNE变体相比，该方法在速度和可扩展性方面表现如何？

主要发现

• 所提出的方法实现了线性计算复杂度，与传统tSNE相比显著降低了时间开销。
• 该技术即使在大规模数据集上，也能实现在浏览器中实时的tSNE可视化。
• 由于通过WebGL和TensorFlow.js实现了高效的GPU加速计算，客户端执行成为可行。
• 使用自适应分辨率纹理可提供对排斥力的可扩展近似，且质量损失极小。
• 在大规模数据上，该方法在速度和交互性方面优于现有的可扩展tSNE方法。
• 该方法表明，复杂的机器学习优化可通过现代Web API有效卸载至客户端。