[论文解读] DeepCas: an End-to-end Predictor of Information Cascades

Cheng Li, Jiaqi Ma+2 more|arXiv (Cornell University)|Nov 16, 2016

Advanced Graph Neural Networks参考文献 41被引用 39

一句话总结

DeepCas 提出了一种端到端的深度学习模型，通过随机游走路径学习级联图的整体表征，从而预测社交网络中信息级联的未来规模，其性能优于基于特征的方法、节点嵌入方法和图核方法，且无需依赖手工设计的特征。该模型使用带有注意力机制的GRU来编码结构模式，自动捕捉社区结构和三角形数量等关键网络属性。

ABSTRACT

Information cascades, effectively facilitated by most social network platforms, are recognized as a major factor in almost every social success and disaster in these networks. Can cascades be predicted? While many believe that they are inherently unpredictable, recent work has shown that some key properties of information cascades, such as size, growth, and shape, can be predicted by a machine learning algorithm that combines many features. These predictors all depend on a bag of hand-crafting features to represent the cascade network and the global network structure. Such features, always carefully and sometimes mysteriously designed, are not easy to extend or to generalize to a different platform or domain. Inspired by the recent successes of deep learning in multiple data mining tasks, we investigate whether an end-to-end deep learning approach could effectively predict the future size of cascades. Such a method automatically learns the representation of individual cascade graphs in the context of the global network structure, without hand-crafted features and heuristics. We find that node embeddings fall short of predictive power, and it is critical to learn the representation of a cascade graph as a whole. We present algorithms that learn the representation of cascade graphs in an end-to-end manner, which significantly improve the performance of cascade prediction over strong baselines that include feature based methods, node embedding methods, and graph kernel methods. Our results also provide interesting implications for cascade prediction in general.

研究动机与目标

• 开发一种无需依赖手工设计特征的端到端深度学习框架，用于预测信息级联的未来规模。
• 探究整体图表征学习是否能在级联预测中优于节点级嵌入或特征工程方法。
• 探索深度学习如何从级联图和全局网络上下文中自动学习具有预测性的结构模式。
• 评估基于随机游走的路径采样作为级联图表征策略的有效性。
• 为深度学习在社交网络级联预测中的可解释性和泛化能力提供见解。

提出的方法

• 将每个级联图表示为通过多次随机游走生成的路径集合，保留节点身份和结构信息。
• 使用基于GRU的循环神经网络将每条路径中的节点序列编码为密集向量表示。
• 在编码后的路径上应用注意力机制，将它们聚合为整个级联图的统一上下文感知表征。
• 使用回归损失端到端训练整个模型，以预测级联的未来规模。
• 通过在多样化的级联图上进行训练，隐式利用全局网络结构，使模型能够学习集合级别的模式。
• 将路径采样过程作为端到端学习的一部分进行优化，使模型能够学习有效的路径生成策略。

实验结果

研究问题

• RQ1 端到端的深度学习模型是否能在预测信息级联规模方面优于传统的基于特征的方法？
• RQ2 对级联图的整体表征是否比节点嵌入或子图级特征更具预测性？
• RQ3 深度学习在无需人工设计特征的情况下，能在多大程度上自动学习到如社区数量、三角形密度和中心性等有意义的结构特征？
• RQ4 随机游走策略的选择如何影响预测性能，且该策略能否实现端到端学习？
• RQ5 该模型是否能在未显式输入全局图结构的情况下，隐式捕捉全局网络属性（例如度分布、结构洞）？

主要发现

• DeepCas 在预测级联规模方面显著优于强基线模型，包括基于特征的方法、节点嵌入模型和图核方法。
• 仅使用节点嵌入不足以实现准确的级联预测，凸显了将级联图整体建模的必要性。
• 该模型无需显式特征工程即可自动学习到诸如开放与闭合三角形数量、社区数量和边密度等重要结构特征。
• 通过端到端训练，该模型隐式捕捉了全局网络模式，即使未直接输入全局网络结构。
• 不同的随机游走策略导致性能差异，且该模型学习到了能提升预测准确性的最优路径采样模式。
• 结果表明，深度学习的优势不在于替代领域知识，而在于学习更高阶的表征，从而更好地捕捉经典网络概念的预测能力。