[论文解读] How to learn a graph from smooth signals

Vassilis Kalofolias|arXiv (Cornell University)|Jan 11, 2016

Sparse and Compressive Sensing Techniques参考文献 20被引用 38

一句话总结

该论文提出了一种新颖的框架，通过将图学习建模为加权ℓ¹-正则化优化问题，从平滑信号中学习图结构，利用图上信号的平滑性。该方法通过原始-对偶算法确保图的自然稀疏性和连通性，在连通性和鲁棒性方面优于最先进模型，尤其在稀疏图约束条件下表现更优。

ABSTRACT

We propose a framework that learns the graph structure underlying a set of smooth signals. Given $X\in\mathbb{R}^{m imes n}$ whose rows reside on the vertices of an unknown graph, we learn the edge weights $w\in\mathbb{R}_+^{m(m-1)/2}$ under the smoothness assumption that $ ext{tr}{X^ op LX}$ is small. We show that the problem is a weighted $\ell$-1 minimization that leads to naturally sparse solutions. We point out how known graph learning or construction techniques fall within our framework and propose a new model that performs better than the state of the art in many settings. We present efficient, scalable primal-dual based algorithms for both our model and the previous state of the art, and evaluate their performance on artificial and real data.

研究动机与目标

• 解决在无先验图或初始图存在噪声时，从平滑信号中学习图结构的挑战。
• 在基于平滑性的框架下统一现有图学习方法，以促进稀疏性和连通性。
• 开发一种可扩展且收敛的原始-对偶算法，用于求解所提出的图学习模型及先前的最先进模型。
• 在人工数据和真实数据上，评估所提模型与k-NN及现有模型的性能，尤其在稀疏图设置下。
• 证明所提模型在图密度选择中具有更好的连通性和鲁棒性，特别是在低密度区域。

提出的方法

• 该方法将图学习表述为最小化图拉普拉斯平滑项tr(XᵀLX)，并将其重表述为邻接矩阵的加权ℓ¹范数，以促进稀疏性。
• 该框架推广了标准图构建方法（如高斯核权重），并将[10]的模型作为特例包含在内。
• 提出一种新模型，通过单个参数控制稀疏性，确保稀疏性与连通性之间的平衡。
• 开发了一种快速、可扩展且收敛的原始-对偶算法，用于求解所提模型及先前最先进模型，支持大规模应用。
• 该算法已集成至开源工具箱（GSPBox、UNLocBoX）中，并在真实数据集上通过谱聚类和标签传播进行评估。
• 在合成数据和真实数据集（USPS、MNIST）上验证了该方法，性能通过聚类准确率、分类误差和图连通性进行衡量。

实验结果

研究问题

• RQ1 能否以系统化方式利用图上信号的平滑性，学习到稀疏且连通性良好的图结构？
• RQ2 与现有模型相比，所提出的加权ℓ¹公式在稀疏性、连通性和可扩展性方面表现如何？
• RQ3 单参数模型能否在真实数据中有效控制稀疏性与图连通性之间的权衡？
• RQ4 所提出的原始-对偶算法在大规模图学习任务中是否在收敛速度和可扩展性方面优于现有求解器？
• RQ5 在数据不平衡的场景下（如MNIST中1 vs 2），在稀疏图假设下，该模型是否能保持更优的分类性能？

主要发现

• 所提模型在聚类性能上优于最先进方法（0.25 ARI vs 0.24 ARI），且在不同图密度下表现出更强鲁棒性。
• 对于每节点6条边的图，所提模型生成的图仅含3个连通分量且无孤立节点，而[9]的模型产生35个分量，其中22个为孤立节点。
• 在MNIST中1 vs 2分类任务中，所提模型在低图密度下仍保持低误分类率，而[9]的模型除非图足够密集，否则无法连接远距离的'2'数字。
• 该模型在标准硬件上仅用5秒（218次迭代）即可学习1001张USPS图像的10条边/节点图，展现出极高的可扩展性。
• 所提框架统一了高斯核加权与[10]的模型，提供了更清晰的理论基础，并实现了此前不存在的可扩展算法。
• 标签传播结果表明，所提模型在稀疏图区域中保持更高的分类准确率，尤其在少数类连接性较差时表现更优。