[论文解读] Influence maximization in unknown social networks: Learning Policies for Effective Graph Sampling

Harshavardhan Kamarthi, Priyesh Vijayan+3 more|arXiv (Cornell University)|Jul 8, 2019

Complex Network Analysis Techniques参考文献 27被引用 8

一句话总结

本文提出了一种强化学习框架 Geometric-DQN，通过利用深度图嵌入和自定义的马尔可夫决策过程（MDP）公式，学习在未知社交网络中自适应、可迁移的采样策略，以最大化影响力传播。该方法在来自不同领域的现实世界网络中，相较最先进的人工设计采样方法，影响力传播提升了7–23%。

ABSTRACT

A serious challenge when finding influential actors in real-world social networks is the lack of knowledge about the structure of the underlying network. Current state-of-the-art methods rely on hand-crafted sampling algorithms; these methods sample nodes and their neighbours in a carefully constructed order and choose opinion leaders from this discovered network to maximize influence spread in the (unknown) complete network. In this work, we propose a reinforcement learning framework for network discovery that automatically learns useful node and graph representations that encode important structural properties of the network. At training time, the method identifies portions of the network such that the nodes selected from this sampled subgraph can effectively influence nodes in the complete network. The realization of such transferable network structure based adaptable policies is attributed to the meticulous design of the framework that encodes relevant node and graph signatures driven by an appropriate reward scheme. We experiment with real-world social networks from four different domains and show that the policies learned by our RL agent provide a 10-36% improvement over the current state-of-the-art method.

研究动机与目标

• 解决在真实社交网络中影响力最大化的挑战，其中完整网络结构未知且获取成本高昂。
• 克服依赖于固定结构假设（如社区结构或友谊悖论）的人工设计采样启发式方法的局限性。
• 开发一种可学习的、自适应的策略，通过基于不断演化的观测结果进行序列图采样，发现关键节点。
• 通过预训练图嵌入和合成数据，实现在不同网络分布间迁移训练策略。
• 通过序列探索学习识别完整网络中具有高介数中心性和度中心性的节点，从而提升影响力传播。

提出的方法

• 将网络发现建模为一个序列决策问题，采用马尔可夫决策过程（MDP），其中智能体根据观测到的子图选择要查询的节点。
• 提出 Geometric-DQN，一种深度 Q-网络架构，结合局部节点特征与全局图嵌入（如来自 Deepwalk 的嵌入），以表示部分观测网络的当前状态。
• 利用图表示学习编码社区结构和中心性等结构性质，使智能体能够推理高阶网络模式。
• 采用基于所选种子集在发现子图中影响力传播的奖励信号，鼓励选择在完整网络中能带来高影响力的节点。
• 通过历史网络数据进行深度 Q-学习训练，使智能体能够泛化到未见过的图，并在采样过程中自适应调整策略。
• 通过在合成数据或领域通用数据集上进行预训练，支持迁移学习，实现在新环境中无需从头开始训练即可部署。

实验结果

研究问题

• RQ1 强化学习智能体是否能在不依赖人工设计启发式方法的前提下，学习到在未知社交网络中有效且自适应的采样策略，以实现影响力最大化？
• RQ2 所学习的策略在不同类型的真实社交网络（包括具有社区结构和稀疏星型连接性的网络）中，泛化能力如何？
• RQ3 所学习的策略在多大程度上能识别出完整网络中具有高真实介数中心性和度中心性的节点？
• RQ4 能否通过在合成数据或通用数据集上进行迁移学习，实现与在领域特定数据上训练相当的性能？
• RQ5 图嵌入有效捕捉了网络的哪些结构性质？这些性质如何促进策略性能的提升？

主要发现

• 在四个来自不同领域的现实世界社交网络中，Geometric-DQN 智能体相较最先进方法 CHANGE 算法，影响力传播提升了 7–23%。
• 所学习的策略在完整网络中持续选择出具有更高真实介数中心性和度中心性的节点，尤其在采样后期表现更优。
• Geometric-DQN 展现出强大的泛化能力：在合成网络或通用社交网络数据集上训练后，可成功迁移到目标领域，性能相当。
• 模型识别高介数节点的能力表明，它有效学习到了识别社区间结构桥梁的能力，而这些桥梁对广泛影响力传播至关重要。
• 随时间推移的节点中心性可视化显示，Geometric-DQN 随着采样进程推进，逐渐聚焦于高影响力节点，表明其具备自适应且有信息量的探索能力。
• 将 Deepwalk 嵌入与 DQN 架构结合，使智能体能够检测超越简单局部连通性的复杂高阶图模式。