[论文解读] Compressive Embedding and Visualization using Graphs

Johann Paratte, Nathanaël Perraudin+1 more|arXiv (Cornell University)|Feb 19, 2017

Complex Network Analysis Techniques参考文献 5被引用 3

一句话总结

本文提出压缩嵌入（Compressive Embedding, CE），一种可扩展的基于图的框架，通过仅在数据点的小样本子集上应用任何嵌入算法，并利用相似性图将结果扩散到整个数据集，从而加速大规模数据集的可视化与嵌入。该方法仅使用 O(log N) 个样本即可保证低维表示的准确性，显著降低计算成本，同时保持高保真度。

ABSTRACT

Visualizing high-dimensional data has been a focus in data analysis communities for decades, which has led to the design of many algorithms, some of which are now considered references (such as t-SNE for example). In our era of overwhelming data volumes, the scalability of such methods have become more and more important. In this work, we present a method which allows to apply any visualization or embedding algorithm on very large datasets by considering only a fraction of the data as input and then extending the information to all data points using a graph encoding its global similarity. We show that in most cases, using only $\mathcal{O}(\log(N))$ samples is sufficient to diffuse the information to all $N$ data points. In addition, we propose quantitative methods to measure the quality of embeddings and demonstrate the validity of our technique on both synthetic and real-world datasets.

研究动机与目标

• 解决传统降维与可视化算法在大规模数据集上面临的可扩展性瓶颈。
• 通过基于图的信息扩散，仅使用少量数据点实现准确的低维嵌入。
• 为保留嵌入中全局结构的采样需求提供理论保证。
• 利用图信号处理工具开发新的定量指标以评估嵌入质量。
• 在合成数据集与真实世界数据集上展示该方法的有效性，其运行时间性能表现优异。

提出的方法

• 该方法使用相似性图来编码全局数据关系，其中节点代表数据点，边权重反映成对距离。
• 基于局部化图核的能量集中度，采用图采样方案选择 O(log N) 个代表性数据点。
• 通过局部低通图滤波器将采样点的信息在整个图中扩散，以将嵌入扩展至所有节点。
• 该方法利用图信号处理工具，确保扩散过程保留局部与全局结构。
• 采用归纳学习方法，通过谱图滤波将嵌入从采样节点扩展至所有数据点。
• 提出一种基于图割与局部化滤波的新质量度量方法，用于定量评估嵌入保真度。

实验结果

研究问题

• RQ1 是否可以仅使用数据点的小样本子集，为大规模数据集生成准确的低维嵌入？
• RQ2 在基于图的扩散中，为保留嵌入的全局结构，所需的最少采样数量是多少？
• RQ3 如何基于图论原理，定量测量可视化质量？
• RQ4 所提出的方法是否能在保持次二次方扩展性的同时，实现与 t-SNE 等最先进算法相当或更优的性能？
• RQ5 该方法在面对噪声与复杂数据结构时，其鲁棒性如何？

主要发现

• 该方法仅使用 O(log N) 个样本即可实现准确的嵌入，与全数据方法相比显著降低了计算成本。
• 理论分析证明，基于局部化核能量的采样可确保数据流形的均匀覆盖。
• 通过低通图滤波器实现的基于图的扩散，成功保留了嵌入空间中的局部与全局结构。
• 基于图割与局部化滤波器提出的质量度量与视觉检查结果高度相关，提供了客观的评估手段。
• 在合成数据集与真实世界数据集上的实验表明，该方法实现次二次方扩展，运行时间优于 t-SNE 与 LargeVis，同时保持了具有竞争力的嵌入质量。
• 该框架具有通用性，可应用于任何现有嵌入算法，因此在各类数据分析任务中具有广泛适用性。