[论文解读] Large Scale Graph Learning from Smooth Signals

Vassilis Kalofolias, Nathanaël Perraudin|arXiv (Cornell University)|Oct 16, 2017

Advanced Graph Neural Networks参考文献 37被引用 40

一句话总结

该论文提出了一种可扩展的图学习方法，通过结合近似最近邻（A-NN）图与Kalofolias（2016）的高保真图学习模型，在O(n log n)计算成本下实现了接近最先进水平的质量。该方法基于期望的边密度自动选择模型参数，实现了大规模加权图的高效学习——例如，在台式机上使用MATLAB实现，100万节点的图仅用16分钟即可完成学习。

ABSTRACT

Graphs are a prevalent tool in data science, as they model the inherent structure of the data. They have been used successfully in unsupervised and semi-supervised learning. Typically they are constructed either by connecting nearest samples, or by learning them from data, solving an optimization problem. While graph learning does achieve a better quality, it also comes with a higher computational cost. In particular, the current state-of-the-art model cost is $\mathcal{O}(n^2)$ for $n$ samples. In this paper, we show how to scale it, obtaining an approximation with leading cost of $\mathcal{O}(n\log(n))$, with quality that approaches the exact graph learning model. Our algorithm uses known approximate nearest neighbor techniques to reduce the number of variables, and automatically selects the correct parameters of the model, requiring a single intuitive input: the desired edge density.

研究动机与目标

• 解决最先进图学习方法计算成本过高的问题，这些方法的复杂度为O(n²)，在大规模数据上不可行。
• 克服k-NN与A-NN图为追求速度而牺牲结构质量的局限，通过将其与高质量图学习框架相结合。
• 实现图稀疏性的自动参数选择，无需网格搜索，仅需一个直观的输入：期望的边密度。
• 实现可扩展的图学习，同时保持流形类似结构与高质量的平滑性正则化，以支持下游机器学习任务。

提出的方法

• 利用近似最近邻（A-NN）技术大幅减少候选边的数量，将优化变量限制在O(n log n)而非O(n²)。
• 采用Kalofolias（2016）的最先进图学习模型，通过最小化Dirichlet能量tr(XᵀLX)来学习图上的平滑信号。
• 将A-NN图作为优化的稀疏化支持，替代完整的邻接矩阵，从而降低计算复杂度。
• 提出一种自动参数选择方案，将期望的边密度（k）直接映射到模型的正则化参数，消除对网格搜索的需求。
• 应用前向-后向分裂算法高效求解优化问题，每轮迭代的计算成本主要由O(kn)操作主导。
• 使用随机投影（从d=300降至d=20）进一步降低高维输入空间中的计算开销。

实验结果

研究问题

• RQ1 图学习能否在保持最先进模型质量的前提下，扩展到大规模数据集（例如100万个节点）？
• RQ2 将A-NN图与高保真图学习结合，是否能比单独使用k-NN或A-NN获得更高的结构保真度？
• RQ3 自动参数调节能否消除图学习中耗时的网格搜索？
• RQ4 所提方法的计算成本如何随数据集规模和期望稀疏性变化？
• RQ5 所学习的图是否比标准的k-NN或A-NN图更好地保持流形类似结构？

主要发现

• 所提方法实现了O(n log n)的计算成本，与A-NN的复杂度一致，同时保持了接近O(n²)最先进模型的图质量。
• 在台式机上使用简单的MATLAB实现，100万节点的图仅用16分钟完成学习，展示了实际可扩展性。
• 所学习的图表现出流形类似结构，如2跳子图所示，优于k-NN和A-NN图所呈现的小世界网络特征。
• 该方法基于期望的边密度自动选择模型参数，无需对多个正则化参数进行网格搜索。
• 在半监督学习与流形恢复任务中，所学习的图表现更优，且边权重更具语义意义，优于基线方法。
• 通过实证验证了该方法在允许边数上的线性可扩展性，证实其在大规模数据上的高效性。