[论文解读] Deep Graph Representation Learning and Optimization for Influence Maximization

Ling Chen, Junji Jiang+6 more|arXiv (Cornell University)|May 1, 2023

Complex Network Analysis Techniques被引用 78

一句话总结

DeepIM 将种子集合嵌入连续潜在空间并端到端学习图扩散模型，使可扩展、可适应的影响最大化在节点中心性约束和蒸馏效率提升下成为可能。

ABSTRACT

Influence maximization (IM) is formulated as selecting a set of initial users from a social network to maximize the expected number of influenced users. Researchers have made great progress in designing various traditional methods, and their theoretical design and performance gain are close to a limit. In the past few years, learning-based IM methods have emerged to achieve stronger generalization ability to unknown graphs than traditional ones. However, the development of learning-based IM methods is still limited by fundamental obstacles, including 1) the difficulty of effectively solving the objective function; 2) the difficulty of characterizing the diversified underlying diffusion patterns; and 3) the difficulty of adapting the solution under various node-centrality-constrained IM variants. To cope with the above challenges, we design a novel framework DeepIM to generatively characterize the latent representation of seed sets, and we propose to learn the diversified information diffusion pattern in a data-driven and end-to-end manner. Finally, we design a novel objective function to infer optimal seed sets under flexible node-centrality-based budget constraints. Extensive analyses are conducted over both synthetic and real-world datasets to demonstrate the overall performance of DeepIM. The code and data are available at: https://github.com/triplej0079/DeepIM.

研究动机与目标

• 将离散的种子集选择问题嵌入到连续潜在空间中以简化优化。
• 端到端学习一个数据驱动的扩散模型，以捕捉现实世界传播模式。
• 在基于节点中心性的预算约束下，提供一个统一、可适应的种子集推断目标。
• 通过知识蒸馏将效率提升到一个轻量级学生模型，同时不牺牲准确性。
• 在多种扩散模型下，在真实网络和合成网络中展示出强劲的性能。

提出的方法

• 引入一个潜在变量 z 来表示种子集，满足 p(x) = ∫ p(x|z)p(z) dz，并通过自编码器（编码器 f_phi 和解码器 f_psi）进行学习。
• 开发一个基于 GNN 的扩散模型 M(x,G;θ)，输出感染概率和最终传播量，在非降序聚合与组合函数以及非降序最终读出下具有单调性保证。
• 为扩散模型强制分数和感染的单调性以反映现实扩散；在给定条件下证明 GNN（如 GAT）的单调性。
• 结合知识蒸馏以训练一个轻量级学生模型 Ms(z;λ)，直接从潜在 z 预测影响以提升效率。
• 将学习到的后验 p(z|x) 与扩散模型结合成一个端到端的训练目标，联合优化潜在表示和扩散预测。
• 提供一个统一的约束优化目标，用于在任意节点中心性预算下进行种子集推断，包括基本的基数约束和基于度数的约束。
• 提出一个在潜在空间中优化 z 的推理过程，使用带有正则化项 Phi(x) 的投影梯度法以保持解的可行性。

实验结果

研究问题

• RQ1 连续潜在表示的种子集是否能够在多样化的扩散模式下实现可扩展和有效的影响最大化？
• RQ2 如何在端到端的方式下同时学习扩散模型和种子集表示，同时保持单调性属性？
• RQ3 我们是否能够在统一框架下自适应处理基于节点中心性的预算约束，以适用于各种 IM 变体？
• RQ4 从高容量扩散模型蒸馏出轻量级模型是否在提升效率的同时保持预测准确性？

主要发现

• DeepIM 在若干真实世界网络和扩散设置下，持续优于传统和基于学习的基线。
• 该框架为学习的扩散模型保持单调性保证，有助于可靠的影响估计。
• 一个轻量级学生模型可以逼近教师扩散模型，使大规模推断更高效。
• 潜在空间推断过程在各种预算约束下有效识别高影响力的种子集，包括基于度数和基数预算。
• 经验结果显示在 IC、LT 和 SIS 扩散下具有强劲表现，且训练与推断流程具有可扩展性。