[论文解读] GAP: Generalizable Approximate Graph Partitioning Framework

Azade Nazi, Will Hang+3 more|arXiv (Cornell University)|Mar 2, 2019

Advanced Graph Neural Networks参考文献 37被引用 35

一句话总结

GAP 通过优化带有图嵌入的可微分放松的归一化割损失来学习图的划分，能够在未见图上泛化，并且推断速度比基线更快。

ABSTRACT

Graph partitioning is the problem of dividing the nodes of a graph into balanced partitions while minimizing the edge cut across the partitions. Due to its combinatorial nature, many approximate solutions have been developed, including variants of multi-level methods and spectral clustering. We propose GAP, a Generalizable Approximate Partitioning framework that takes a deep learning approach to graph partitioning. We define a differentiable loss function that represents the partitioning objective and use backpropagation to optimize the network parameters. Unlike baselines that redo the optimization per graph, GAP is capable of generalization, allowing us to train models that produce performant partitions at inference time, even on unseen graphs. Furthermore, because we learn the representation of the graph while jointly optimizing for the partitioning loss function, GAP can be easily tuned for a variety of graph structures. We evaluate the performance of GAP on graphs of varying sizes and structures, including graphs of widely used machine learning models (e.g., ResNet, VGG, and Inception-V3), scale-free graphs, and random graphs. We show that GAP achieves competitive partitions while being up to 100 times faster than the baseline and generalizes to unseen graphs.

研究动机与目标

• 在各种图类型中推动高效、平衡的图划分，无需特定图的启发式方法。
• 提出一个可微分的损失，涵盖划分的归一化割和均衡目标。
• 开发一个神经模型，学习根据图结构和特征将节点分配到划分中。
• 展示对未见图和未见规模的泛化能力，降低每个图的优化时间。

提出的方法

• 定义一个基于期望归一化割的可微分损失，使用一个软分区矩阵 Y，表示每个节点属于各分区的概率。
• 利用 Y 与图的邻接信息和度信息计算期望的割和体积，从而实现对归一化割的可微近似。
• 通过惩罚偏离相等划分大小（每个分区 n/g）的情况来加入平衡项。
• 使用图嵌入模块（GCN 或 GraphSAGE）从图结构和特征生成节点表示。
• 附加一个划分模块（带 softmax 的全连接层），输出 Y，并训练以最小化损失。
• 可选地实现嵌入与划分模块之间梯度流阻断的训练以获得无监督嵌入；在大图上支持小批量推理。

实验结果

研究问题

• RQ1 是否可以通过端到端训练让神经网络在尽量减少边切分的同时实现平衡的图划分？
• RQ2 对归一化割的可微放松是否能够实现对未见图和未见大小的泛化？
• RQ3 图嵌入（GCN、GraphSAGE）如何影响划分质量以及跨图的迁移能力？
• RQ4 与传统求解器如 hMETIS 相比，推理速度与划分质量之间的权衡是什么？
• RQ5 节点特征（例如 TensorFlow 操作类型）或结构相似性在多大程度上有助于泛化？

主要发现

• GAP 在真实图和合成图上实现了具有竞争力的边界割和高度平衡的划分。
• GAP 能够从训练图泛化到未见的图和尺寸，在大型未见计算图上通常达到 4–6% 的边缘割。
• Inception-v3、ResNet、MNIST-conv、AlexNet 和 VGG 在在一个图上训练并应用到其他图时显示出 GAP 的泛化。
• GAP 推理在许多场景下比 hMETIS 快 10–100×，同时提供可比甚至更好的划分质量。
• 端到端训练的基于 GraphSAGE 的嵌入在未见图上实现最佳泛化性能。
• 当训练图与测试图之间的相似性（如操作类型的 Jaccard 相似度）增加时，泛化能力提升。