[论文解读] A Unified Framework for Optimization-Based Graph Coarsening

M. Kumar, Anurag Sharma+1 more|arXiv (Cornell University)|Oct 2, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

该论文提出了一种基于优化的图粗化新框架，通过整合图拓扑结构与节点特征，联合学习粗化后的图矩阵和特征矩阵，确保其与原始图具有谱相似性和 $\varepsilon$-相似性。该方法采用块主要化-最小化策略，结合对数行列式、狄利克雷能量和正则化项，求解一个多块非凸优化问题，实现了可证明的收敛性，并在真实世界应用中展现出强大的经验性能。

ABSTRACT

Graph coarsening is a widely used dimensionality reduction technique for approaching large-scale graph machine learning problems. Given a large graph, graph coarsening aims to learn a smaller-tractable graph while preserving the properties of the originally given graph. Graph data consist of node features and graph matrix (e.g., adjacency and Laplacian). The existing graph coarsening methods ignore the node features and rely solely on a graph matrix to simplify graphs. In this paper, we introduce a novel optimization-based framework for graph dimensionality reduction. The proposed framework lies in the unification of graph learning and dimensionality reduction. It takes both the graph matrix and the node features as the input and learns the coarsen graph matrix and the coarsen feature matrix jointly while ensuring desired properties. The proposed optimization formulation is a multi-block non-convex optimization problem, which is solved efficiently by leveraging block majorization-minimization, $\log$ determinant, Dirichlet energy, and regularization frameworks. The proposed algorithms are provably convergent and practically amenable to numerous tasks. It is also established that the learned coarsened graph is $ε\in(0,1)$ similar to the original graph. Extensive experiments elucidate the efficacy of the proposed framework for real-world applications.

研究动机与目标

• 为解决现有图粗化方法忽略节点特征、仅依赖图矩阵的局限性。
• 通过联合优化粗化后的图矩阵与特征矩阵，统一图学习与降维过程。
• 确保粗化图保留关键属性，如谱相似性和 $\varepsilon$-相似性。
• 开发一种可证明收敛的算法，能够同时处理图矩阵与特征矩阵输入。
• 在实现图粗化的同时实现特征维度降维，以提升可扩展性与下游任务的实用性。

提出的方法

• 该框架将图粗化建模为一个多块非凸优化问题，联合最小化重构误差、谱相似性与正则化项。
• 采用块主要化-最小化策略，迭代优化粗化矩阵 $C$ 与粗化特征矩阵 $\tilde{X}$，确保收敛性。
• 目标函数中引入对数行列式项以促进低秩结构，狄利克雷能量项以保持平滑性，以及 $\ell_1$-正则化项以鼓励稀疏性。
• 通过约束条件强制 $C$ 的非负性、行方向 $\ell_2$-范数边界，以及类似正交性的性质，以维持结构保真度。
• 通过联合优化粗化特征矩阵及其维度，将该方法扩展至处理特征维度降维问题。
• 推导出KKT条件并用于证明算法的极限点满足优化问题的最优性条件，从而建立理论收敛性。

实验结果

研究问题

• RQ1 能否设计一个统一的优化框架，联合粗化图结构与节点特征，同时保留图的关键属性？
• RQ2 如何在同时利用图拓扑与节点特征的前提下，数学上强制实现谱相似性与 $\varepsilon$-相似性？
• RQ3 何种优化策略可确保在多块非凸设置下，联合图与特征粗化过程的收敛性？
• RQ4 在真实世界下游任务中，引入节点特征在多大程度上提升了粗化图的质量？
• RQ5 该框架是否能同时实现特征维度降维，同时保持图结构与节点特征间的关系？

主要发现

• 所提出的框架实现了粗化图与原始图之间的 $\varepsilon$-相似性，其中 $\epsilon \in (0,1)$，确保了结构保真度。
• 该算法具有可证明的收敛性，其极限点满足优化问题的KKT条件。
• 大量实验表明，该框架在真实世界图数据集上表现出色，优于忽略特征的粗化方法。
• 图与特征矩阵的联合优化保留了同质性与平滑性等关键属性，而忽略节点特征的方法则会丢失这些属性。
• 该方法可作为副产品实现特征维度降维，从而生成紧凑且信息丰富的表示。
• 理论分析证实，$\|\tilde{X}\|_{\Theta_c} \in [(1-\epsilon)\|X\|_{\Theta}, (1+\epsilon)\|X\|_{\Theta}]$，建立了特征范数有界保持的性质。