[论文解读] Knowledge-Enhanced Hierarchical Graph Transformer Network for Multi-Behavior Recommendation

Lianghao Xia, Chao Huang+6 more|arXiv (Cornell University)|Oct 8, 2021

Recommender Systems and Techniques被引用 13

一句话总结

该论文提出KHGT，一种知识增强的层次图变压器网络，通过联合捕捉类型特定的行为模式、知识图谱中的物品语义关系以及时间动态，对多种类型的用户-物品交互（例如，浏览、收藏、购买）进行建模。通过使用多行为互注意力机制和门控聚合方法，动态加权异构交互，该方法在三个真实世界数据集上实现了最先进性能。

ABSTRACT

Accurate user and item embedding learning is crucial for modern recommender systems. However, most existing recommendation techniques have thus far focused on modeling users' preferences over singular type of user-item interactions. Many practical recommendation scenarios involve multi-typed user interactive behaviors (e.g., page view, add-to-favorite and purchase), which presents unique challenges that cannot be handled by current recommendation solutions. In particular: i) complex inter-dependencies across different types of user behaviors; ii) the incorporation of knowledge-aware item relations into the multi-behavior recommendation framework; iii) dynamic characteristics of multi-typed user-item interactions. To tackle these challenges, this work proposes a Knowledge-Enhanced Hierarchical Graph Transformer Network (KHGT), to investigate multi-typed interactive patterns between users and items in recommender systems. Specifically, KHGT is built upon a graph-structured neural architecture to i) capture type-specific behavior characteristics; ii) explicitly discriminate which types of user-item interactions are more important in assisting the forecasting task on the target behavior. Additionally, we further integrate the graph attention layer with the temporal encoding strategy, to empower the learned embeddings be reflective of both dedicated multiplex user-item and item-item relations, as well as the underlying interaction dynamics. Extensive experiments conducted on three real-world datasets show that KHGT consistently outperforms many state-of-the-art recommendation methods across various evaluation settings. Our implementation code is available at https://github.com/akaxlh/KHGT.

研究动机与目标

• 解决在推荐系统中建模多种用户-物品交互类型之间复杂依赖关系的挑战。
• 通过统一的图结构框架，将知识感知的物品语义关系整合到多行为推荐中。
• 通过将时间编码整合到图注意力机制中，捕捉随时间变化的用户交互模式。
• 实现分层的、行为特定的表征学习，以区分不同交互类型对目标行为预测的重要性。
• 通过在统一且可解释的架构中显式建模跨类型的行为依赖关系和物品-物品关系，提升推荐准确性。

提出的方法

• KHGT采用多行为图变压器网络，在类型特定的表征空间中递归传播用户-物品和物品-物品关系的嵌入表示。
• 通过时间编码策略将时间感知上下文注入图注意力机制，捕捉随时间演变的交互动态。
• 采用多行为互注意力编码器，建模不同类型用户-物品交互之间的成对依赖关系，学习其分层相关性。
• 门控聚合层根据其与目标行为预测任务的相关性，动态加权不同行为类型对结果的贡献。
• 通过集成知识图嵌入来丰富物品表征，增强对物品关系语义的理解。
• 采用子图采样结合Dropout正则化策略，以提升训练稳定性和泛化能力，尤其在数据稀疏场景下。

实验结果

研究问题

• RQ1 如何在统一的推荐框架中有效建模多种类型的用户行为（如浏览、收藏、购买）？
• RQ2 知识感知的物品语义关系在多行为推荐性能上的提升程度如何？
• RQ3 用户交互的时间动态如何影响多行为设置下行为预测的准确性？
• RQ4 分层注意力机制是否能有效捕捉不同类型用户行为之间的跨类型依赖关系？
• RQ5 多行为互注意力和门控聚合等架构组件对推荐性能的影响如何？

主要发现

• 在Yelp、MovieLens和Online Retail三个数据集上，KHGT在HR@10和NDCG@10指标上均优于多个最先进方法。
• 在Yelp数据集上，当使用130,000个子图节点进行测试时，KHGT的HR@10达到0.478，NDCG@10达到0.469。
• 采用两层递归消息传播的模型性能最佳，表明更深层次的分层聚合具有优势。
• 使用更大测试规模上下文（如130,000个节点）的子图采样可提升准确性，而较小的训练样本结合Dropout可减少过拟合。
• 时间片大小分析表明，随着时间粒度变粗，性能下降，说明细粒度时间编码的重要性。
• 案例研究显示，KHGT能够学习到可解释的、分层的相关性分数，用于不同行为类型与物品关系之间，颜色越亮表示学习到的相关性越高。