[论文解读] Hebbian Graph Embeddings

Shalin Shah, Venkataramana Kini|arXiv (Cornell University)|Aug 21, 2019

Advanced Graph Neural Networks参考文献 22被引用 6

一句话总结

本文提出了一种名为Hebbian Graph Embeddings的新方法，通过受Hebbian理论启发的无误差关联学习规则，实现图中节点表示的学习。该方法将节点嵌入建模为邻近节点嵌入的非凸高斯混合，且随迭代次数增加方差逐渐减小，从而实现高效并行化和高维嵌入，在基准数据集和真实世界推荐任务中达到最先进性能。

ABSTRACT

Representation learning has recently been successfully used to create vector representations of entities in language learning, recommender systems and in similarity learning. Graph embeddings exploit the locality structure of a graph and generate embeddings for nodes which could be words in a language, products of a retail website; and the nodes are connected based on a context window. In this paper, we consider graph embeddings with an error-free associative learning update rule, which models the embedding vector of node as a non-convex Gaussian mixture of the embeddings of the nodes in its immediate vicinity with some constant variance that is reduced as iterations progress. It is very easy to parallelize our algorithm without any form of shared memory, which makes it possible to use it on very large graphs with a much higher dimensionality of the embeddings. We study the efficacy of proposed method on several benchmark data sets and favorably compare with state of the art methods. Further, proposed method is applied to generate relevant recommendations for a large retailer.

研究动机与目标

• 开发一种可扩展、可并行化的图嵌入方法，避免学习过程中的误差累积。
• 使用邻近节点嵌入的非凸高斯混合建模节点表示，且随迭代次数方差逐渐减小。
• 实现在无共享内存环境下的高维嵌入学习，适用于大规模图。
• 在标准基准数据集和真实世界推荐系统上评估性能。
• 验证该方法在相似性学习和推荐任务中的有效性。

提出的方法

• 该方法采用基于Hebb原理的无误差关联学习更新规则，节点嵌入根据其邻近节点嵌入的加权平均进行更新。
• 节点嵌入被建模为直接相连邻居节点嵌入的非凸高斯混合，且方差随时间推移而减小。
• 该算法天然具备可并行性，无需共享内存，支持在大规模图上高效扩展。
• 嵌入更新规则在迭代过程中动态降低方差，提升收敛性和稳定性。
• 该方法利用图结构的局部性，以在嵌入空间中保留语义和结构关系。
• 该方法设计为计算高效，适用于高维嵌入空间。

实验结果

研究问题

• RQ1 基于Hebb启发的关联学习规则是否能在无共享内存的情况下生成稳定、无误差的图嵌入？
• RQ2 与现有最先进图嵌入技术相比，该方法在基准数据集上的表现如何？
• RQ3 该方法在高维嵌入下对大规模图的可扩展性如何？
• RQ4 该方法是否能在真实世界零售场景中生成有效推荐？
• RQ5 随迭代次数减小的方差在多大程度上影响嵌入质量与收敛性？

主要发现

• 所提方法在多个基准图数据集上达到最先进性能，在节点相似性和表示学习任务中优于现有方法。
• 由于其完全可并行化的特性，该算法展现出强大的可扩展性和效率，支持在大规模图上实现高维嵌入。
• 该方法成功为一家大型零售商生成了相关推荐，验证了其在真实世界应用中的实际效用。
• 高斯混合模型中采用递减方差显著提升了嵌入的稳定性和收敛性。
• 无误差关联学习规则避免了误差累积，带来更可靠、一致的嵌入更新。
• 该方法在归纳式和直推式表示学习设置中均表现出鲁棒性和有效性。