[论文解读] Graph2Seq: Scalable Learning Dynamics for Graphs

Shaileshh Bojja Venkatakrishnan, Mohammad Alizadeh+1 more|arXiv (Cornell University)|Feb 14, 2018

Advanced Graph Neural Networks参考文献 51被引用 8

一句话总结

Graph2Seq 提出了一种可扩展的图表示学习框架，将顶点建模为隐藏状态的无限时序序列，从而实现对任意大小和拓扑结构图的自然泛化。通过在图卷积特征上采用序列到序列的RNN架构，该方法在最小点覆盖、最大割和最大独立集等组合优化问题上实现了最先进性能，具备高达25,000个顶点的强可扩展性，并实现了跨图类型的零样本泛化。

ABSTRACT

Neural networks have been shown to be an effective tool for learning algorithms over graph-structured data. However, graph representation techniques---that convert graphs to real-valued vectors for use with neural networks---are still in their infancy. Recent works have proposed several approaches (e.g., graph convolutional networks), but these methods have difficulty scaling and generalizing to graphs with different sizes and shapes. We present Graph2Seq, a new technique that represents vertices of graphs as infinite time-series. By not limiting the representation to a fixed dimension, Graph2Seq scales naturally to graphs of arbitrary sizes and shapes. Graph2Seq is also reversible, allowing full recovery of the graph structure from the sequences. By analyzing a formal computational model for graph representation, we show that an unbounded sequence is necessary for scalability. Our experimental results with Graph2Seq show strong generalization and new state-of-the-art performance on a variety of graph combinatorial optimization problems.

研究动机与目标

• 解决固定维图表示在扩展至大规模或多样化图时的关键局限性。
• 克服现有GCNN在相似尺寸图上训练与测试时泛化能力差的问题。
• 实现端到端的图算法学习，使其在极大差异的图大小和拓扑结构间具有泛化能力。
• 开发一种可逆的、无信息损失的图表示，支持从顶点序列完全恢复原始图结构。
• 将先前的GCNN方法统一于一个通用计算模型（局部聚合）下，阐明固定长度表示的理论局限性。

提出的方法

• 将每个顶点表示为通过连续图卷积层生成的隐藏状态时序序列，避免固定维表示的约束。
• 使用序列到序列RNN（G2S-RNN）处理动态演化的顶点表示，并通过强化学习学习决策策略。
• 利用无界序列长度动态调整感受野大小，捕获围绕每个顶点的直径递增的子图。
• 在局部-聚合计算模型中形式化Graph2Seq，证明固定长度表示无法计算某些图函数。
• 在强化学习框架中引入Q函数，其中Q1在所有顶点间共享，Q2(v)为顶点特定，实现对最优点覆盖候选的二分类。
• 采用基于梯度的优化方法，结合课程学习与对抗训练，提升在不同图族间的泛化能力。

实验结果

研究问题

• RQ1 在小图（如15–20个顶点）上训练的图神经网络是否能泛化到规模大得多（如3,200–25,000个顶点）且拓扑不同的图？
• RQ2 是否可能设计一种既可扩展又可逆的图表示，实现对原始图结构的完整重构？
• RQ3 固定长度图表示在捕捉复杂图函数方面的理论极限是什么？Graph2Seq如何突破这一限制？
• RQ4 在Graph2Seq中，顶点状态向量的动力学如何随时间演变？其主成分可作何语义解释？
• RQ5 强化学习策略网络中的Q函数是否能在早期层识别出最优解？随着训练进行，模型是否稳定在正确解上？

主要发现

• 在15–20个顶点的图上训练的G2S-RNN模型，能泛化至3,200个顶点的图，并扩展至25,000个顶点，性能保持一致。
• 该模型实现跨图类型的泛化：在Erdos-Renyi图上的性能可直接迁移至随机正则图和二分图，无需微调。
• Graph2Seq在最小点覆盖、最大割和最大独立集任务上达到最先进性能，优于先前的GCNN和图核基线方法。
• 在第一层的Q函数已能通过二值Q2(v)值识别出最优点覆盖，指示顶点是否属于最优解集。
• 对顶点状态进行主成分分析显示，主导方向趋于收敛，并与顶点连通性对齐，表明具有语义可解释性。
• 最优层数因图类型而异——例如，随机图为4–5层，最坏情况贪心实例为15层——证明可变长度序列相比固定深度模型具有优势。