[论文解读] Graph DNA: Deep Neighborhood Aware Graph Encoding for Collaborative Filtering

Liwei Wu, Hsiang‐Fu Yu+3 more|arXiv (Cornell University)|May 29, 2019

Caching and Content Delivery参考文献 43被引用 4

一句话总结

本文提出 Graph DNA，一种基于布隆过滤器的深度邻域感知图编码方法，可高效近似协同过滤中的多跳邻域信息。通过线性时间、对数空间编码高阶图结构，Graph DNA 在矩阵分解与 GCN 基模型中实现显著性能提升，计算开销极低，相较于直接的高阶图方法，速度最高提升 6 倍，性能最高提升 15 倍（在部分数据集上）。

ABSTRACT

In this paper, we consider recommender systems with side information in the form of graphs. Existing collaborative filtering algorithms mainly utilize only immediate neighborhood information and have a hard time taking advantage of deeper neighborhoods beyond 1-2 hops. The main caveat of exploiting deeper graph information is the rapidly growing time and space complexity when incorporating information from these neighborhoods. In this paper, we propose using Graph DNA, a novel Deep Neighborhood Aware graph encoding algorithm, for exploiting deeper neighborhood information. DNA encoding computes approximate deep neighborhood information in linear time using Bloom filters, a space-efficient probabilistic data structure and results in a per-node encoding that is logarithmic in the number of nodes in the graph. It can be used in conjunction with both feature-based and graph-regularization-based collaborative filtering algorithms. Graph DNA has the advantages of being memory and time efficient and providing additional regularization when compared to directly using higher order graph information. We conduct experiments on real-world datasets, showing graph DNA can be easily used with 4 popular collaborative filtering algorithms and consistently leads to a performance boost with little computational and memory overhead.

研究动机与目标

• 为解决在图协同过滤中高效利用深度邻域信息的挑战，因为高阶邻居的计算通常成本过高。
• 降低在推荐系统中引入多跳图信息的计算与内存复杂度。
• 开发一种可扩展的编码方法，在不引起资源使用指数级增长的前提下，保留深层邻域的结构信息。
• 将该编码方法集成到基于特征与图正则化的协同过滤框架中，以实现广泛适用性。
• 从理论与实证两方面验证所提出的 Graph DNA 编码在有效性与效率上的优越性。

提出的方法

• Graph DNA 使用布隆过滤器编码每个节点在指定跳数范围内的节点集合，近似表示深度邻域结构。
• 每个节点的编码是一个 c 维二值向量，其中 c = O(log n)，实现邻域集合的对数空间表示。
• 通过在图邻接矩阵上迭代应用布隆过滤器操作，该方法以线性时间计算近似邻域信息。
• 生成的节点编码被用作协同过滤模型的输入特征或正则化项，例如图正则化矩阵分解与 GCN 基模型。
• 该方法通过布隆过滤器的概率成员编码，对节点表示实现隐式正则化，从而平滑表示。
• 该方法支持显式与隐式反馈设置，且无需修改模型架构，可应用于多种协同过滤算法。

实验结果

研究问题

• RQ1 我们能否在不产生不可接受计算成本的前提下，高效近似大规模稀疏图中的深度邻域信息，以用于协同过滤？
• RQ2 与浅层或直接高阶方法相比，使用基于布隆过滤器的多跳邻域编码是否能在推荐系统中带来更好的泛化能力与性能表现？
• RQ3 在时间、内存与预测性能方面，Graph DNA 与直接计算高阶邻接矩阵（如 G^4）相比，效率与准确性如何？
• RQ4 在何种场景下，深层邻域信息比邻近邻域信息更具优势？Graph DNA 是否能自适应地捕捉这种优势？
• RQ5 Graph DNA 的编码与图中最短路径距离度量之间存在何种理论关系？

主要发现

• 在使用四阶信息时，Graph DNA 相较于直接的高阶图方法（如 G^4），性能最高提升 15 倍，计算速度提升 6 倍。
• 在 Flixster 数据集上，GRMF_DNA-3（6 跳）相较 1 跳的 GRMF_G 实现了 10 倍性能提升，凸显深层信息的价值。
• 在 Douban 数据集上，GRMF_DNA-1 超过所有基线模型，性能相较基线 MF 提升 1.38 倍，表明在稠密图中浅层信息更为关键。
• Graph DNA 显著降低了内存使用：在 GRMF_DNA-1 中，布隆过滤器矩阵 B 的非零元素比 G^2 少 20%，同时仍保留丰富的结构信息。
• 在合成数据集上，GRMF_DNA-3 相较基线 MF 实现 19.1% 的相对性能提升，甚至优于完整 G^6 的 17% 提升。
• 在隐式反馈任务中，WMF_DNA-3 相较 WMF_G 在 Douban 上 MAP 提升 7.1%，在 Flixster 上提升 6.6%，且开销极低。