[论文解读] Influence Maximization with Bandits

Sharan Vaswani, Laks V. S. Lakshmanan+1 more|arXiv (Cornell University)|Feb 27, 2015

Advanced Bandit Algorithms Research参考文献 4被引用 27

一句话总结

本文提出了一种组合多臂赌博机框架，用于在影响概率未知的情况下，在社交网络中实现影响力最大化，通过使用边级反馈和新颖的节点级反馈来最小化累计遗憾。该研究引入了最小化遗憾的算法，以平衡探索与利用，在真实数据集上表现出有效性，并提供了性能的理论边界。

ABSTRACT

We consider the problem of \emph{influence maximization}, the problem of maximizing the number of people that become aware of a product by finding the `best' set of `seed' users to expose the product to. Most prior work on this topic assumes that we know the probability of each user influencing each other user, or we have data that lets us estimate these influences. However, this information is typically not initially available or is difficult to obtain. To avoid this assumption, we adopt a combinatorial multi-armed bandit paradigm that estimates the influence probabilities as we sequentially try different seed sets. We establish bounds on the performance of this procedure under the existing edge-level feedback as well as a novel and more realistic node-level feedback. Beyond our theoretical results, we describe a practical implementation and experimentally demonstrate its efficiency and effectiveness on four real datasets.

研究动机与目标

• 解决影响概率未知或不可用场景下的影响力最大化问题，避免依赖先前的扩散数据。
• 通过平衡探索（学习影响概率）与利用（选择高传播性种子集），在多轮迭代中最小化累计遗憾。
• 提出并分析一种新颖的节点级反馈机制，仅观察节点是否被激活（即是否采纳产品），而非具体哪条边导致了激活，使该方法更符合现实应用场景。
• 设计可扩展至真实网络的实用遗憾最小化算法，并在四个真实数据集上验证其经验有效性。

提出的方法

• 采用组合多臂赌博机（CMAB）框架，其中每条臂对应一个大小为k的种子集，奖励为期望影响力传播范围。
• 使用边级反馈，系统可观察到在级联传播过程中每条边是否发生了影响传播。
• 提出一种新颖的节点级反馈模型，仅观察哪些节点变为活跃状态（即采纳了产品），而不记录导致激活的具体边。
• 采用贝叶斯更新方法，结合Beta-Bernoulli共轭先验来估计影响概率，其中先验参数作为伪计数。
• 应用贪心策略，基于当前估计选择能最大化期望传播范围的种子集，通过epsilon-greedy或UCB风格选择实现探索。
• 提出一种战略性探索算法，选择能最大化未充分探索边数的种子集，从而提升网络覆盖度，增强学习效率。

实验结果

研究问题

• RQ1 组合赌博机方法是否能在无先前扩散数据的情况下，有效学习影响力概率？
• RQ2 在遗憾和学习效率方面，节点级反馈与边级反馈的性能表现如何比较？
• RQ3 所提算法在边级反馈和节点级反馈两种设置下的理论遗憾边界是什么？
• RQ4 引入先验（如Beta-Beta共轭先验）对学习过程的收敛性和性能有何影响？
• RQ5 在影响力概率估计方面，战略性探索是否优于随机探索，从而提升学习准确性和样本效率？

主要发现

• 所提算法在边级反馈和节点级反馈下均实现了次线性遗憾，证明即使在反馈受限的情况下，学习仍是可行的。
• 虽然节点级反馈更符合现实，但其遗憾高于边级反馈，不过通过合理的算法设计，性能差距仍可接受。
• 在Flickr数据集上的实验表明，使用带伪计数的Beta-Bernoulli先验能显著提升学习收敛速度。
• 战略性探索在影响力概率估计的L2误差方面，比随机探索更有效，尤其在节点级反馈设置下优势更明显。
• 在四个真实世界数据集上，该算法实现了高影响力传播范围与低遗憾，证实了其实际有效性。
• 理论分析表明，遗憾随时间呈次线性增长，说明算法能随时间学习到最优种子集。