[論文レビュー] Exact Recovery of Community Structures Using DeepWalk and Node2vec

Yichi Zhang, Minh Tang|arXiv (Cornell University)|Jan 18, 2021

Complex Network Analysis Techniques参考文献 37被引用数 6

ひとこと要約

この論文は、ストークスティックブロックモデルグラフ上の行列分解問題として定式化することにより、DeepWalkおよびnode2vecの正確なコミュニティ回復における理論的保証を初めて確立した。十分に大きなネットワークかつ適切なウィンドウサイズの下で、高確率に、学習された埋め込みにK-meansまたはK-mediansを適用することで、スパースなグラフであっても真のコミュニティ所属が完全に回復されることを証明した。

ABSTRACT

Random-walk based network embedding algorithms like DeepWalk and node2vec are widely used to obtain Euclidean representation of the nodes in a network prior to performing downstream inference tasks. However, despite their impressive empirical performance, there is a lack of theoretical results explaining their large-sample behavior. In this paper, we study node2vec and DeepWalk through the perspective of matrix factorization. In particular, we analyze these algorithms in the setting of community detection for stochastic blockmodel graphs (and their degree-corrected variants). By exploiting the row-wise uniform perturbation bound for leading singular vectors, we derive high-probability error bounds between the matrix factorization-based node2vec/DeepWalk embeddings and their true counterparts, uniformly over all node embeddings. Based on strong concentration results, we further show the perfect membership recovery by node2vec/DeepWalk, followed by $K$-means/medians algorithms. Specifically, as the network becomes sparser, our results guarantee that with large enough window size and vertices number, applying $K$-means/medians on the matrix factorization-based node2vec embeddings can, with high probability, correctly recover the memberships of all vertices in a network generated from the stochastic blockmodel (or its degree-corrected variants). The theoretical justifications are mirrored in the numerical experiments and real data applications, for both the original node2vec and its matrix factorization variant.

研究の動機と目的

• DeepWalkおよびnode2vecのコミュニティ検出における実験的成功と理論的理解のギャップを埋める。
• ストークスティックブロックモデルグラフにおけるnode2vec/DeepWalk埋め込みとその真の潜在的対応物との間の高確率誤差バウンドを確立する。
• 埋め込みにK-meansまたはK-mediansを適用することで、大規模かつスパースなネットワークにおけるコミュニティ所属の正確な回復が可能であることを証明する。
• エッジ確率が一様である条件下で、度数補正付きストークスティックブロックモデルおよび非一様Erdős-Rényiグラフへの理論的保証を拡張する。

提案手法

• ランダムウォークから得られる共起行列の対数をとったものに対する行列分解として、node2vecおよびDeepWalkを形式化する。
• 主固有ベクトルの行方向一様摂動バウンドを用いて、埋め込みの高確率誤差バウンドを導出する。
• 集中不等式を用いて、ネットワークサイズの増加に伴い、共起行列が真の期待共起行列に一様に収束することを示す。
• 隣接行列および共起行列のスペクトル特性を活用して、安定な埋め込み回復を保証する。
• 遷移行列の詳細釣合条件を用いて、埋め込み行列の漸近的表現を簡略化する。
• モンテカルロシミュレーションおよび実データ応用を通じて理論的結果の妥当性を検証し、元のnode2vecおよびSVDベースのnode2vecバージョンの両方を対象とする。

実験結果

リサーチクエスチョン

• RQ1 DeepWalkおよびnode2vecは、ストークスティックブロックモデルグラフにおいて真のコミュニティ構造を確実に回復できるか？
• RQ2 node2vecおよびDeepWalk埋め込みのサンプルサイズが大きくなるに従い、真の潜在的構造への収束行動はどのように変化するか？
• RQ3 K-meansまたはK-mediansを埋め込みに適用した場合、どのような条件下でコミュニティ所属の正確な回復が達成されるか？
• RQ4 ウィンドウサイズおよびネットワークのスパarsityが理論的回復保証にどのように影響を与えるか？
• RQ5 理論的結果は、ストークスティックブロックモデルを越えて、より一般的な非一様ランダムグラフモデルへどの程度一般化可能か？

主な発見

• 行列分解に基づくnode2vec/DeepWalk埋め込みとその真の対応物との間で、すべてのノードに対して一様に高確率誤差バウンドが確立された。
• 十分に大きなウィンドウサイズおよびネットワークサイズの下で、埋め込みにK-meansまたはK-mediansを適用することで、高確率にコミュニティ所属が正確に回復された。
• エッジ確率の減少が制御されており、かつグラフが十分に大きい限り、ネットワークがスパースであっても理論的保証が成立する。
• モンテカルロシミュレーションを通じて、埋め込み誤差の収束および高いコミュニティ検出精度を示す実証的検証が得られた。
• 実データ応用においても理論的発見が裏付けられ、元のnode2vecおよびSVDベースのnode2vec埋め込みの両方において、手法の頑健性と正確性が確認された。
• エッジ確率が十分に一様である限り、度数補正付きストークスティックブロックモデルおよび非一様Erdős-Rényiグラフへもフレームワークが拡張可能である。