[论文解读] GraphOpt: Learning Optimization Models of Graph Formation

Rakshit Trivedi, Jiachen Yang+1 more|arXiv (Cornell University)|Jul 7, 2020

Graph Theory and Algorithms被引用 7

一句话总结

GraphOpt 提出了一种端到端框架，联合学习图构建的随机策略，并通过逆强化学习发现解释观测到的图结构的潜在优化目标。该方法在生成与现实世界网络具有相似结构特性的图方面达到了最先进性能，同时实现了无需链接预测显式监督的可迁移、可解释的图合成。

ABSTRACT

Formation mechanisms are fundamental to the study of complex networks, but learning them from observations is challenging. In real-world domains, one often has access only to the final constructed graph, instead of the full construction process, and observed graphs exhibit complex structural properties. In this work, we propose GraphOpt, an end-to-end framework that jointly learns an implicit model of graph structure formation and discovers an underlying optimization mechanism in the form of a latent objective function. The learned objective can serve as an explanation for the observed graph properties, thereby lending itself to transfer across different graphs within a domain. GraphOpt poses link formation in graphs as a sequential decision-making process and solves it using maximum entropy inverse reinforcement learning algorithm. Further, it employs a novel continuous latent action space that aids scalability. Empirically, we demonstrate that GraphOpt discovers a latent objective transferable across graphs with different characteristics. GraphOpt also learns a robust stochastic policy that achieves competitive link prediction performance without being explicitly trained on this task and further enables construction of graphs with properties similar to those of the observed graph.

研究动机与目标

• 解决仅可观测最终图而构建过程未知时学习图形成机制的挑战。
• 发现一个解释观测到的图属性的潜在目标函数，以实现可迁移且可解释的图构建。
• 将图形成建模为使用连续潜在动作空间的强化学习序列决策过程，以实现可扩展性。
• 实现在无需显式训练于这些任务情况下的鲁棒、泛化性强的图生成与链接预测。
• 为现有基于概率或判别式的图生成模型提供一种可迁移的、基于优化的替代方案。

提出的方法

• GraphOpt 将图构建建模为序列决策过程，通过结构化策略网络逐个添加边。
• 采用图神经网络（GNN）将部分构建图的当前状态编码为连续的低维表示。
• 引入一种新颖的与图大小无关的连续潜在动作空间，实现对大规模图的高效训练。
• 使用最大熵逆强化学习（IRL）训练策略，以推断解释观测图结构的潜在奖励函数。
• 所学习的潜在目标函数可作为图形成机制的操作性解释，即使与真实底层过程不完全相同。
• 该框架联合优化策略与潜在目标，实现生成具有与观测图相同属性的新图。

实验结果

研究问题

• RQ1 当仅可观测最终结构时，我们能否发现一个解释现实世界图形成过程的潜在优化目标？
• RQ2 基于该目标学习到的策略能否在具有不同结构特征的图之间实现泛化？
• RQ3 使用连续潜在动作空间是否能实现在大规模图上的可扩展训练，同时保持结构保真度？
• RQ4 学习到的策略是否能在未显式训练于该任务的情况下实现具有竞争力的链接预测性能？
• RQ5 所学习的目标与策略在多大程度上可迁移，以生成与观测图具有相似属性的新图？

主要发现

• 在多种现实世界和合成图上，GraphOpt 在复制关键图属性（如度分布和聚类系数分布）方面显著优于强基线模型。
• 该框架在生成图时，相较于 BTER、DC-SBM 和 NetGAN 等基线模型，在包括最大度和聚类系数在内的多个指标上均实现了最小的百分比误差。
• 由于其随机策略，GraphOpt 生成了多样化且非完全相同的图，避免了对观测图的简单复制，同时保留了结构模式。
• 所学习的潜在目标函数可在具有不同特征的图之间实现可迁移性，展现出超越单个实例的泛化能力。
• 该策略在未显式训练于链接预测任务的情况下实现了具有竞争力的性能，表明所学习的表征捕捉到了有意义的结构归纳偏差。
• GraphOpt 有效构建了包含孤立连通分量的图，这一特性常见于现实世界网络，但常被某些先前方法所忽略。