[论文解读] Distributed Representations of Signed Networks

Mohammad Raihanul Islam, B. Aditya Prakash+1 more|arXiv (Cornell University)|Feb 22, 2017

Advanced Graph Neural Networks参考文献 35被引用 12

一句话总结

该论文提出 sign2vec，一种用于有符号网络的可扩展节点嵌入方法，通过利用结构平衡理论和有针对性的节点采样策略，在学习到的表示中保留边的极性。该方法在边和节点标签预测任务上优于当前最先进方法，在包含多达一百万个节点的大规模有符号网络中表现出优越的性能和可扩展性。

ABSTRACT

Recent successes in word embedding and document embedding have motivated researchers to explore similar representations for networks and to use such representations for tasks such as edge prediction, node label prediction, and community detection. Such network embedding methods are largely focused on finding distributed representations for unsigned networks and are unable to discover embeddings that respect polarities inherent in edges. We propose SIGNet, a fast scalable embedding method suitable for signed networks. Our proposed objective function aims to carefully model the social structure implicit in signed networks by reinforcing the principles of social balance theory. Our method builds upon the traditional word2vec family of embedding approaches and adds a new targeted node sampling strategy to maintain structural balance in higher-order neighborhoods. We demonstrate the superiority of SIGNet over state-of-the-art methods proposed for both signed and unsigned networks on several real world datasets from different domains. In particular, SIGNet offers an approach to generate a richer vocabulary of features of signed networks to support representation and reasoning.

研究动机与目标

• 解决现有网络嵌入方法在有符号网络中无法保留边极性的局限性。
• 开发一种可扩展的、通用的嵌入框架，适用于具有加权或非加权边的有向和无向有符号网络。
• 通过引入高于局部两跳邻域的高阶结构平衡，改进表示学习。
• 设计一种有针对性的节点采样策略，相比标准负采样，能更有效地学习平衡的网络结构。
• 在下游预测任务（如边和节点标签预测）中展示 sign2vec 的有效性。

提出的方法

• sign2vec 通过使用符号感知的目标函数对有符号网络中的节点关系进行建模，将 word2vec 的 skip-gram 框架扩展到有符号网络。
• 提出一种有针对性的节点采样策略，通过优先采样在高阶邻域中保持平衡三角形配置的节点，以维持结构平衡。
• 该方法基于结构平衡理论优化目标函数，偏好在向量空间中处于平衡三角形中的节点彼此靠近。
• 采用异步随机梯度下降方法，实现在大规模网络上的高效且可扩展的训练。
• 该算法支持有向和无向网络，并通过分别编码符号和大小来处理二值或加权边。
• 有针对性的采样策略通过动态维护一个节点缓存，提升优化稳定性和表示质量。

实验结果

研究问题

• RQ1 能否设计一种可扩展的节点嵌入方法，在保留有符号网络中边极性的同时维持结构平衡？
• RQ2 与标准负采样相比，有针对性的节点采样在学习有符号网络的平衡表示方面表现如何？
• RQ3 与最先进方法相比，sign2vec 在边和节点标签预测任务上的性能提升程度如何？
• RQ4 sign2vec 在包含数百万个节点的大规模有符号网络上扩展能力如何？
• RQ5 sign2vec 能否有效建模超出局部两跳邻域的高阶结构平衡？

主要发现

• 在 ADJNet 数据集上，sign2vec 相较于次优方法 sign2vec-NS 实现了 26.1% 的宏 F1 分数相对提升。
• 在 SCOTUS 数据集上，sign2vec 相较于 sign2vec-NS 提升了 45.1% 的宏 F1 分数，证明了有针对性采样策略的有效性。
• 在 DBLP 数据集上，sign2vec 实现了 44.9% 的宏 F1 分数相对提升，表明其在不同领域间具有强大的泛化能力。
• 该方法扩展效率高，在标准台式机上训练一个一百万个节点的 Erdos-Renyi 网络耗时不足 3 小时，采样时间可忽略不计（<15 分钟）。
• 使用 5 个线程时，sign2vec 实现了 3.5 倍的加速，显示出强大的并行化潜力和实际可扩展性。
• 有针对性的采样策略使 sign2vec 在移除 20% 的出边后仍能保持性能，这是由于在优化过程中对相关节点的覆盖更充分。