[论文解读] COSINE: Compressive Network Embedding on Large-scale Information Networks

Zhengyan Zhang, Cheng Yang+5 more|arXiv (Cornell University)|Dec 21, 2018

Advanced Graph Neural Networks被引用 6

一句话总结

COSINE 提出了一种压缩式网络嵌入框架，通过图划分将节点分组并共享参数，从而减少内存使用并加速训练。通过利用分组带来的结构相似性，它在保持相同内存约束的前提下，将节点分类和链接预测的性能提升最高达25%，同时将训练时间减少30%–70%。

ABSTRACT

There is recently a surge in approaches that learn low-dimensional embeddings of nodes in networks. As there are many large-scale real-world networks, it's inefficient for existing approaches to store amounts of parameters in memory and update them edge after edge. With the knowledge that nodes having similar neighborhood will be close to each other in embedding space, we propose COSINE (COmpresSIve NE) algorithm which reduces the memory footprint and accelerates the training process by parameters sharing among similar nodes. COSINE applies graph partitioning algorithms to networks and builds parameter sharing dependency of nodes based on the result of partitioning. With parameters sharing among similar nodes, COSINE injects prior knowledge about higher structural information into training process which makes network embedding more efficient and effective. COSINE can be applied to any embedding lookup method and learn high-quality embeddings with limited memory and shorter training time. We conduct experiments of multi-label classification and link prediction, where baselines and our model have the same memory usage. Experimental results show that COSINE gives baselines up to 23% increase on classification and up to 25% increase on link prediction. Moreover, time of all representation learning methods using COSINE decreases from 30% to 70%.

研究动机与目标

• 解决因高内存占用和训练缓慢而导致的大规模网络嵌入可扩展性挑战。
• 克服稀疏网络中低度数节点的冷启动问题。
• 在不牺牲嵌入质量的前提下，减少训练时间和内存占用。
• 提出一个统一框架，通过参数共享增强现有网络嵌入算法。
• 通过节点的结构分组，在严格内存约束下实现高维嵌入。

提出的方法

• 应用图划分（例如 mt-metis）将具有相似邻域的节点分组为簇。
• 使用随机游走构建组映射函数，以识别节点之间的结构相似性。
• 在属于同一组的节点之间共享嵌入参数，从而减少唯一参数的数量。
• 通过统一框架将参数共享机制集成到现有嵌入算法（例如 DeepWalk、LINE、node2vec）中。
• 使用多线程组映射过程，实现对包含多达一百万个节点的大规模网络的高效扩展。
• 优化超参数（每个顶点的游走次数 γ，游走长度 k，组大小 n），以平衡性能与效率。

实验结果

研究问题

• RQ1 在结构相似的节点之间共享参数，是否能够提升大规模网络嵌入的效率与质量？
• RQ2 基于图划分的分组方式如何影响网络嵌入模型的泛化能力与训练速度？
• RQ3 参数共享在多大程度上可以缓解大规模网络中低度数节点的冷启动问题？
• RQ4 对于有效的参数共享，游走长度、游走次数和组大小的最佳配置是什么？
• RQ5 COSINE 框架是否可应用于多种现有网络嵌入算法，并实现一致的性能提升？

主要发现

• 在相同内存约束下，COSINE 相较基线模型，将多标签分类性能最高提升23%。
• 在保持相同内存使用量的前提下，COSINE 使链接预测准确率最高提升25%。
• 使用 COSINE 时，所有评估的嵌入方法的训练时间均减少30%至70%。
• 最优的每个顶点游走次数参数 γ = 100 在性能与效率之间达到平衡，γ > 60 后增益极小。
• 游走长度 k = 5 与组大小 n = 5 的组合表现最佳，通过最小化组内冗余与噪声，最大化性能。
• 八线程环境下，一百万个节点的网络组映射仅耗时55秒，展现出强大的可扩展性。