[论文解读] Multi-Level Network Embedding with Boosted Low-Rank Matrix Approximation

Jundong Li, Liang Wu+1 more|arXiv (Cornell University)|Aug 26, 2018

Advanced Graph Neural Networks参考文献 35被引用 3

一句话总结

该论文提出 BoostNE，一种多层级网络嵌入框架，通过分阶段、类似提升（boosting）的方式学习节点表示，以克服传统网络嵌入中全局低秩矩阵近似方法的局限性。通过迭代地对残差连接矩阵进行低秩近似，BoostNE 在多个粒度层级上捕捉了分层的连接模式，在节点分类和链接预测任务上实现了最先进（SOTA）的性能表现。

ABSTRACT

As opposed to manual feature engineering which is tedious and difficult to scale, network representation learning has attracted a surge of research interests as it automates the process of feature learning on graphs. The learned low-dimensional node vector representation is generalizable and eases the knowledge discovery process on graphs by enabling various off-the-shelf machine learning tools to be directly applied. Recent research has shown that the past decade of network embedding approaches either explicitly factorize a carefully designed matrix to obtain the low-dimensional node vector representation or are closely related to implicit matrix factorization, with the fundamental assumption that the factorized node connectivity matrix is low-rank. Nonetheless, the global low-rank assumption does not necessarily hold especially when the factorized matrix encodes complex node interactions, and the resultant single low-rank embedding matrix is insufficient to capture all the observed connectivity patterns. In this regard, we propose a novel multi-level network embedding framework BoostNE, which can learn multiple network embedding representations of different granularity from coarse to fine without imposing the prevalent global low-rank assumption. The proposed BoostNE method is also in line with the successful gradient boosting method in ensemble learning as multiple weak embeddings lead to a stronger and more effective one. We assess the effectiveness of the proposed BoostNE framework by comparing it with existing state-of-the-art network embedding methods on various datasets, and the experimental results corroborate the superiority of the proposed BoostNE network embedding framework.

研究动机与目标

• 解决全局低秩矩阵近似在网络嵌入中的根本局限性，即无法捕捉现实网络中复杂且非低秩的连接模式。
• 克服单一因子分解方法在不同粒度层级上无法建模多样化节点交互模式的不足。
• 开发一种从粗到细粒度学习节点表示的多层级框架，模仿集成学习中梯度提升的成功机制。
• 通过在每个阶段对残差矩阵进行分解，放松全局低秩假设，实现嵌入表示的逐步优化。
• 提供一个统一且可扩展的框架，兼容基于矩阵因子分解的网络嵌入方法，同时提升表达能力和泛化性能。

提出的方法

• 在矩阵因子分解框架内构建网络嵌入问题，使用基于节点接近度或结构模式的闭式连接矩阵。
• 对连接矩阵应用低秩矩阵近似（如 SVD、NMF）以生成初始嵌入表示。
• 计算原始连接矩阵与其低秩近似之间的残差矩阵，以捕捉未被解释的连接模式。
• 以分阶段方式迭代地对残差矩阵应用低秩近似，生成一系列逐步优化的嵌入表示。
• 通过类似提升的聚合方式，将每一阶段生成的多个弱嵌入表示组合为最终更强、更具判别力的嵌入表示。
• 通过利用高效的低秩因子分解技术并避免在每一步进行完整矩阵重建，确保计算可扩展性。

实验结果

研究问题

• RQ1 能否证明一种多层级嵌入框架，通过迭代优化残差连接矩阵，在捕捉复杂网络结构方面优于单层级低秩矩阵近似？
• RQ2 受提升启发的分阶段学习多个低秩近似方法，是否能相比最先进网络嵌入方法，显著提升节点表示质量？
• RQ3 放松全局低秩假设在多大程度上增强了不同网络类型中学习到的节点嵌入的表达能力？
• RQ4 嵌入层次中的不同粒度层级在节点分类和链接预测等下游任务中分别起到何种贡献？
• RQ5 所提出的框架能否在保持计算效率的同时，提升大规模网络上的表示质量？

主要发现

• BoostNE 在多个真实世界数据集上的节点分类和链接预测任务中均实现了最先进性能，优于现有 SOTA 方法。
• 多层级框架通过捕捉单因子分解方法所忽略的分层及非全局低秩模式，显著提升了嵌入质量。
• 消融实验确认，提升过程的每一阶段均对最终表示有实质性贡献，性能随层级递增而单调提升。
• 该框架在多种网络类型（包括社交网络、引文网络和合作网络）中表现出鲁棒性，表明其具有广泛适用性。
• 残差矩阵分解策略能有效隔离并建模初始低秩近似未捕捉的复杂连接模式。
• 通过依赖高效的低秩因子分解和增量更新，该方法在大规模网络上保持了计算可行性。