[论文解读] Graph Coarsening with Neural Networks

Chen Cai, Dingkang Wang+1 more|arXiv (Cornell University)|Feb 2, 2021

Advanced Graph Neural Networks参考文献 60被引用 13

一句话总结

该论文提出 GOREN，一种数据驱动的图粗化框架，利用图神经网络（GNN）学习粗化图的最优边权重，显著提升了在多种度量标准、缩减比例和图类型下的粗化质量。与以往固定粗化图权重的方法不同，GOREN 通过训练 GNN 以无监督方式自适应地分配权重，实现了最先进性能，并能推广至比训练数据大 25 倍的图。

ABSTRACT

As large-scale graphs become increasingly more prevalent, it poses significant computational challenges to process, extract and analyze large graph data. Graph coarsening is one popular technique to reduce the size of a graph while maintaining essential properties. Despite rich graph coarsening literature, there is only limited exploration of data-driven methods in the field. In this work, we leverage the recent progress of deep learning on graphs for graph coarsening. We first propose a framework for measuring the quality of coarsening algorithm and show that depending on the goal, we need to carefully choose the Laplace operator on the coarse graph and associated projection/lift operators. Motivated by the observation that the current choice of edge weight for the coarse graph may be sub-optimal, we parametrize the weight assignment map with graph neural networks and train it to improve the coarsening quality in an unsupervised way. Through extensive experiments on both synthetic and real networks, we demonstrate that our method significantly improves common graph coarsening methods under various metrics, reduction ratios, graph sizes, and graph types. It generalizes to graphs of larger size ($25 imes$ of training graphs), is adaptive to different losses (differentiable and non-differentiable), and scales to much larger graphs than previous work.

研究动机与目标

• 解决传统图粗化方法中固定且次优的边权重分配的局限性。
• 开发一种基于数据驱动、无监督的框架，利用图神经网络学习粗化图中的边权重。
• 通过自适应调整拉普拉斯算子及投影/提升映射，以保留特定图属性，从而提升粗化质量。
• 实现对更大图（最大达训练图大小 25 倍）的泛化能力，并适应不同损失函数。
• 在保持多种评估指标下高质量粗化的同时，扩展至比以往方法更大的图规模。

提出的方法

• 提出一种基于目标泛函 F 在提升映射下不变性的粗化质量度量框架，需精心选择投影/提升算子及粗化图拉普拉斯算子。
• 引入一种可微分的、基于 GNN 的权重分配映射，以无监督方式学习粗化图上的边权重分配。
• 将粗化图边权重分配参数化为一个 GNN，输入为原始图和粗化后的节点集合，输出为优化后的权重。
• 使用可微分的辅助损失函数进行 GNN 训练，即使主损失不可微，也能实现对复杂目标的优化。
• 在粗化图上采用双重加权拉普拉斯算子，该算子推广了标准拉普拉斯算子，支持更优的谱近似。
• 在无需微调的情况下，将训练好的 GNN 应用于新的、更大的图，实现对未见图规模的零样本泛化。

实验结果

研究问题

• RQ1 在图粗化中，通过学习得到的数据驱动边权重分配是否能显著优于固定权重方法？
• RQ2 拉普拉斯算子及投影/提升映射的选择如何影响粗化图的质量？
• RQ3 基于 GNN 的权重分配机制是否能泛化至远大于训练集规模的图？
• RQ4 该方法在不同图类型和缩减比例下是否保持性能稳定？
• RQ5 通过使用可微分辅助损失，框架是否能优化不可微分的目标函数？

主要发现

• GOREN 在所有测试指标下均显著提升粗化质量，包括特征值误差、谱相似性及二次型保持性，性能提升幅度在 3.1% 至 88.6% 之间。
• 在 PubMed 数据集上，0.7 的缩减比例下，GOREN 相较基线方法将特征值误差降低 260.2%。
• 在 Flickr 数据集上，采用局部变化（边）目标函数时，0.7 的缩减比例下，GOREN 将特征值误差降低 92.2%。
• 该方法可泛化至比训练图大 25 倍的图，且无需微调即可保持高性能。
• 即使在不可微损失函数下，通过可微分辅助损失进行训练，仍取得显著性能提升，体现出强鲁棒性。
• 可视化结果表明，学习到的权重使粗化图的特征值更贴近原始图，尤其在前 40 个特征值上表现更优。