[论文解读] DyHGCN: A Dynamic Heterogeneous Graph Convolutional Network to Learn Users' Dynamic Preferences for Information Diffusion Prediction

Chunyuan Yuan, Jiacheng Li+4 more|arXiv (Cornell University)|Jun 9, 2020

Complex Network Analysis Techniques参考文献 25被引用 6

一句话总结

该论文提出 DyHGCN，一种动态异构图卷积网络，通过联合建模社交网络与动态传播图来捕捉用户不断演变的偏好，从而提升信息传播预测性能。通过编码时间动态性并利用多头注意力机制建模上下文依赖关系，DyHGCN 在三个公开数据集上显著优于当前最先进模型，证明了建模动态用户偏好的有效性。

ABSTRACT

Information diffusion prediction is a fundamental task for understanding the information propagation process. It has wide applications in such as misinformation spreading prediction and malicious account detection. Previous works either concentrate on utilizing the context of a single diffusion sequence or using the social network among users for information diffusion prediction. However, the diffusion paths of different messages naturally constitute a dynamic diffusion graph. For one thing, previous works cannot jointly utilize both the social network and diffusion graph for prediction, which is insufficient to model the complexity of the diffusion process and results in unsatisfactory prediction performance. For another, they cannot learn users' dynamic preferences. Intuitively, users' preferences are changing as time goes on and users' personal preference determines whether the user will repost the information. Thus, it is beneficial to consider users' dynamic preferences in information diffusion prediction. In this paper, we propose a novel dynamic heterogeneous graph convolutional network (DyHGCN) to jointly learn the structural characteristics of the social graph and dynamic diffusion graph. Then, we encode the temporal information into the heterogeneous graph to learn the users' dynamic preferences. Finally, we apply multi-head attention to capture the context-dependency of the current diffusion path to facilitate the information diffusion prediction task. Experimental results show that DyHGCN significantly outperforms the state-of-the-art models on three public datasets, which shows the effectiveness of the proposed model.

研究动机与目标

• 为解决现有模型在信息传播预测中无法联合建模社交网络与动态传播图的局限性。
• 捕捉用户随时间演变的偏好，这些偏好显著影响其是否会转发内容。
• 通过将时间动态性整合到图表示中，提升预测性能。
• 开发一个统一框架，利用用户交互网络中的结构信息与时间信息。

提出的方法

• 构建一个动态异构图，整合社交网络边与用户间随时间演化的传播关系。
• 应用图卷积网络，从社交图与动态传播图中学习节点表示。
• 使用时间感知注意力机制，融合历史与当前传播状态，将时间信息编码到节点嵌入中。
• 利用多头注意力机制建模当前传播路径内的上下文依赖关系，以提升预测性能。
• 采用异构图编码模块，保留两类图的互补信息。
• 端到端训练模型，使用链接预测目标以预测未来的转发行为。

实验结果

研究问题

• RQ1 如何联合建模社交网络结构与动态传播图，以提升信息传播预测性能？
• RQ2 用户动态偏好（由不断演变的互动模式塑造）在多大程度上影响信息传播？
• RQ3 在图表示中引入时间编码能否增强对用户随时间行为的建模？
• RQ4 DyHGCN 架构的不同组件对整体预测性能有何贡献？
• RQ5 时间间隔与注意力头数量等超参数的最优配置是什么，以实现动态图学习？

主要发现

• DyHGCN 在三个公开数据集上达到最先进性能，在 Twitter 数据集上 hits@100 达到 58.85%，在 Douban 数据集上达到 36.13%。
• 时间感知注意力模块相比硬选择策略在 hits@100 上提升 0.5%，表明其在融合时间表示方面的有效性。
• 移除社交图或传播图任一组件均导致性能显著下降，表明两者对准确预测均至关重要。
• 消融实验确认，异构图编码模块至关重要，移除后导致最大性能下降。
• 敏感性分析表明，使用 14 个注意力头与 8 个时间间隔可获得最优性能，超过这些值后收益递减。