[论文解读] Exact Recovery of Community Structures Using DeepWalk and Node2vec

Yichi Zhang, Minh Tang|arXiv (Cornell University)|Jan 18, 2021

Complex Network Analysis Techniques参考文献 37被引用 6

一句话总结

该论文通过将 DeepWalk 和 node2vec 框架化为随机块模型图上的矩阵分解问题，首次为它们在精确社区恢复中提供了理论保证。证明了当网络足够大且窗口大小适当时，即使图变得稀疏，以高概率对学习到的嵌入应用 K-means 或 K-medians 也能恢复所有真实的社区归属。

ABSTRACT

Random-walk based network embedding algorithms like DeepWalk and node2vec are widely used to obtain Euclidean representation of the nodes in a network prior to performing downstream inference tasks. However, despite their impressive empirical performance, there is a lack of theoretical results explaining their large-sample behavior. In this paper, we study node2vec and DeepWalk through the perspective of matrix factorization. In particular, we analyze these algorithms in the setting of community detection for stochastic blockmodel graphs (and their degree-corrected variants). By exploiting the row-wise uniform perturbation bound for leading singular vectors, we derive high-probability error bounds between the matrix factorization-based node2vec/DeepWalk embeddings and their true counterparts, uniformly over all node embeddings. Based on strong concentration results, we further show the perfect membership recovery by node2vec/DeepWalk, followed by $K$-means/medians algorithms. Specifically, as the network becomes sparser, our results guarantee that with large enough window size and vertices number, applying $K$-means/medians on the matrix factorization-based node2vec embeddings can, with high probability, correctly recover the memberships of all vertices in a network generated from the stochastic blockmodel (or its degree-corrected variants). The theoretical justifications are mirrored in the numerical experiments and real data applications, for both the original node2vec and its matrix factorization variant.

研究动机与目标

• 弥合 DeepWalk 和 node2vec 在社区检测中经验成功与理论理解之间的差距。
• 在随机块模型图中，建立 node2vec/DeepWalk 嵌入与真实潜在对应物之间高概率的误差界。
• 证明在大型稀疏网络中，对嵌入应用 K-means 或 K-medians 可实现社区归属的精确恢复。
• 将理论保证扩展至度校正的随机块模型和具有同质边概率的非齐次 Erdős-Rényi 图。

提出的方法

• 将 node2vec 和 DeepWalk 形式化为从随机游走中导出的对数共现矩阵的矩阵分解。
• 利用行方向的均匀扰动界推导主要奇异向量的高概率误差界，从而获得嵌入的误差界。
• 应用集中不等式，证明随着网络规模增大，共现矩阵一致收敛于真实的期望共现矩阵。
• 利用邻接矩阵和共现矩阵的谱性质，确保嵌入恢复的稳定性。
• 利用转移矩阵的细致平衡条件，简化嵌入矩阵的渐近表达式。
• 通过蒙特卡洛模拟和真实数据应用，对原始和基于 SVD 的 node2vec 变体验证理论结果。

实验结果

研究问题

• RQ1 DeepWalk 和 node2vec 是否能可证明地恢复随机块模型图中的真实社区结构？
• RQ2 在样本量增大时，node2vec 和 DeepWalk 嵌入的收敛行为如何，即其收敛于真实潜在结构的特性如何？
• RQ3 在何种条件下，对嵌入应用 K-means 或 K-medians 能实现精确社区恢复？
• RQ4 窗口大小和网络稀疏性如何影响理论恢复保证？
• RQ5 理论结果在多大程度上可扩展至更一般的非齐次随机图模型，而不仅限于随机块模型？

主要发现

• 在所有节点上，基于矩阵分解的 node2vec/DeepWalk 嵌入与其真实对应物之间建立了高概率误差界，且具有统一性。
• 当窗口大小和网络规模足够大时，对嵌入应用 K-means 或 K-medians 可以以高概率实现社区归属的精确恢复。
• 即使在网络变得稀疏时，理论保证依然成立，前提是边概率的衰减受到控制且图足够大。
• 通过蒙特卡洛模拟验证了理论结果，显示嵌入误差收敛且社区检测准确率高。
• 理论发现也在真实数据应用中得到体现，证实了该方法在原始和基于 SVD 的 node2vec 嵌入上的鲁棒性和准确性。
• 该框架可扩展至度校正的随机块模型和非齐次 Erdős-Rényi 图，当边概率足够同质时依然成立。