[논문 리뷰] Exact Recovery of Community Structures Using DeepWalk and Node2vec

Yichi Zhang, Minh Tang|arXiv (Cornell University)|2021. 01. 18.

Complex Network Analysis Techniques참고 문헌 37인용 수 6

한 줄 요약

이 논문은 스트로스틱 블록모델 그래프에서의 DeepWalk과 node2vec에 대해 정확한 커뮤니티 복원을 위한 이론적 보장을 처음으로 수립한다. 이를 위해 두 알고리즘을 행렬 분해 문제로 재구성한다. 네트워크가 충분히 크고 윈도우 크기가 적절할 경우, 높은 확률로 학습된 임bedding에 K-means나 K-medians를 적용하면 진정한 커뮤니티 소속 관계를 완전히 복원할 수 있으며, 그래프가 희박해지는 조건에서도 성립한다.

ABSTRACT

Random-walk based network embedding algorithms like DeepWalk and node2vec are widely used to obtain Euclidean representation of the nodes in a network prior to performing downstream inference tasks. However, despite their impressive empirical performance, there is a lack of theoretical results explaining their large-sample behavior. In this paper, we study node2vec and DeepWalk through the perspective of matrix factorization. In particular, we analyze these algorithms in the setting of community detection for stochastic blockmodel graphs (and their degree-corrected variants). By exploiting the row-wise uniform perturbation bound for leading singular vectors, we derive high-probability error bounds between the matrix factorization-based node2vec/DeepWalk embeddings and their true counterparts, uniformly over all node embeddings. Based on strong concentration results, we further show the perfect membership recovery by node2vec/DeepWalk, followed by $K$-means/medians algorithms. Specifically, as the network becomes sparser, our results guarantee that with large enough window size and vertices number, applying $K$-means/medians on the matrix factorization-based node2vec embeddings can, with high probability, correctly recover the memberships of all vertices in a network generated from the stochastic blockmodel (or its degree-corrected variants). The theoretical justifications are mirrored in the numerical experiments and real data applications, for both the original node2vec and its matrix factorization variant.

연구 동기 및 목표

• DeepWalk과 node2vec의 커뮤니티 탐지에서의 경험적 성공과 이론적 이해 사이의 격차를 메우기 위해.
• 스토케스틱 블록모델 그래프에서 node2vec/DeepWalk 임베딩과 그 진정한 잠재적 대응체 간의 높은 확률 오차 한계를 수립하기 위해.
• 학습된 임베딩에 K-means나 K-medians를 적용할 경우, 큰 희박한 네트워크에서 커뮤니티 소속 관계를 정확히 복원할 수 있음을 증명하기 위해.
• 간편한 간선 확률 조건 하에서 도시-수정 스토케스틱 블록모델과 비균일한 에르되시-레니 그래프로 이론적 보장을 확장하기 위해.

제안 방법

• 랜덤 워크에서 유도된 공시행렬의 로그를 취한 행렬의 행렬 분해로 node2vec과 DeepWalk를 수식화하기.
• 주요 특이벡터에 대한 행별 균일한 편향 한계를 사용하여 임베딩의 높은 확률 오차 한계를 유도하기.
• 집중 불등식을 적용하여 네트워크 크기가 증가함에 따라 공시행렬이 진정한 기대 공시행렬로 균일 수렴함을 보여주기.
• 인접행렬과 공시행렬의 스펙트럼 성질을 활용하여 안정적인 임베딩 복원 보장하기.
• 전이행렬의 세부 균형 조건을 활용하여 임베딩 행렬의 점근적 표현을 단순화하기.
• 몬테카를로 시뮬레이션과 실제 데이터 응용을 통해 이론적 결과를 검증하고, 원본 및 SVD 기반 node2vec 변형 모두에 대해 검증하기.

실험 결과

연구 질문

• RQ1 스토케스틱 블록모델 그래프에서 DeepWalk과 node2vec는 진정한 커뮤니티 구조를 증명 가능하게 복원할 수 있는가?
• RQ2 node2vec와 DeepWalk 임베딩의 대용량 표본 행동은 진정한 잠재적 구조로 수렴하는가?
• RQ3 K-means나 K-medians가 임베딩에 적용되었을 때 정확한 커뮤니티 복원을 달성하는 조건은 무엇인가?
• RQ4 윈도우 크기와 네트워크의 희박성은 이론적 복원 보장에 어떤 영향을 미치는가?
• RQ5 이론적 결과는 스토케스틱 블록모델을 초월해 더 일반적인 비균일한 랜덤 그래프 모델으로 얼마나 확장 가능한가?

주요 결과

• 행렬 분해 기반의 node2vec/DeepWalk 임베딩과 그 진정한 대응체 간에 모든 노드에 대해 균일한 높은 확률 오차 한계가 확립되었다.
• 충분히 큰 윈도우 크기와 네트워크 크기가 확보되면, K-means나 K-medians를 임베딩에 적용함으로써 높은 확률로 커뮤니티 소속 관계를 정확히 복원할 수 있다.
• 간선 확률 감쇠가 제어되고 그래프가 충분히 클 경우, 네트워크가 희박해지는 조건에서도 이론적 보장이 유지된다.
• 몬테카를로 시뮬레이션을 통해 임베딩 오차 수렴과 높은 커뮤니티 탐지 정확도를 보여주는 실증적 검증이 이루어졌다.
• 실제 데이터 응용에서도 이론적 발견이 그대로 반영되었으며, 원본 및 SVD 기반 node2vec 임베딩 모두에서 이 방법의 강건성과 정확성이 확인되었다.
• 간편한 간선 확률 조건 하에서 이 프레임워크는 도시-수정 스토케스틱 블록모델과 비균일한 에르되시-레니 그래프로도 확장 가능하다.