[논문 리뷰] Randomized spectral co-clustering for large-scale directed networks

Xiao Guo, Yixuan Qiu외 2명|arXiv (Cornell University)|2020. 04. 25.

Complex Network Analysis Techniques참고 문헌 50인용 수 8

한 줄 요약

이 논문은 대규모 방향성 네트워크를 위한 두 가지 랜덤화된 스펙트럴 공동 클러스터링 알고리즘—랜덤 프로젝션 기반 및 랜덤 샘플링 기반—을 제안한다. 이는 계산 속도를 높이면서도 통계적 정확도를 유지한다. 스토케스틱 공동 블록 모델 하에서 이 알고리즘들은 개선된 근사 오차 및 잘못 분류 오차율을 달성하며, 수백만 개 노드까지의 실제 네트워크에서 실증 검증이 이루어졌고, 공개된 R 패키지인 RandClust를 제공한다.

ABSTRACT

Directed networks are broadly used to represent asymmetric relationships among units. Co-clustering aims to cluster the senders and receivers of directed networks simultaneously. In particular, the well-known spectral clustering algorithm could be modified as the spectral co-clustering to co-cluster directed networks. However, large-scale networks pose great computational challenges to it. In this paper, we leverage sketching techniques and derive two randomized spectral co-clustering algorithms, one \emph{random-projection-based} and the other \emph{random-sampling-based}, to accelerate the co-clustering of large-scale directed networks. We theoretically analyze the resulting algorithms under two generative models -- the stochastic co-block model and the degree-corrected stochastic co-block model, and establish their approximation error rates and misclustering error rates, indicating better bounds than the state-of-the-art results of co-clustering literature. Numerically, we design and conduct simulations to support our theoretical results and test the efficiency of the algorithms on real networks with up to millions of nodes. A publicly available R package extsf{RandClust} is developed for better usability and reproducibility of the proposed methods.

연구 동기 및 목표

• 수백만 개 노드를 가진 대규모 방향성 네트워크에서 스펙트럴 공동 클러스터링의 계산 병목 현상을 해결한다.
• 동시에 발신 및 수신 노드를 공동 클러스터링할 수 있는 효율적이고 확장 가능한 알고리즘을 개발하여 통계적 정확도를 유지한다.
• 스토케스틱 공동 블록 및 디그리-수정 스토케스틱 공동 블록 모델 하에서 근사 오차 및 잘못 분류 오차율의 이론적 분석을 수행한다.
• 합성 네트워크와 실제 세계 네트워크(유럽 이메일 네트워크 포함)에서 방법을 검증한다.
• 재현 가능성과 사용 용이성을 위해 공개된 R 패키지인 RandClust를 제공한다.

제안 방법

• 스펙트럴 구조를 유지하면서 인접 행렬의 차원을 줄이기 위해 랜덤 프로젝션을 활용하여 효율적인 SVD 계산을 수행한다.
• 행렬 원소의 부분집합을 랜덤 샘플링하여 인접 행렬의 저랭크 근사를 빠르게 수행할 수 있도록 한다.
• 스케치된 행렬에 대해 랜덤화된 SVD를 적용하여 공동 클러스터링을 위한 주요 왼쪽 및 오른쪽 특이 벡터를 추출한다.
• 왼쪽 및 오른쪽 특이 벡터에 대해 k-means 클러스터링을 수행하여 발신 및 수신 클러스터를 도출한다.
• 이론적 분석은 행렬 농도 부등식 및 스펙트럴 노름 및 오차율에 대한 경계에 기반한다.
• 이 방법들은 저랭크 행렬 근사 이론에 기반하며, 방향성 네트워크 공동 클러스터링에 적응된 것이다.

실험 결과

연구 질문

• RQ1 랜덤 프로젝션과 랜덤 샘플링을 활용해 대규모 방향성 네트워크에서 스펙트럴 공동 클러스터링을 효과적으로 가속화할 수 있는가?
• RQ2 제안된 랜덤화된 공동 클러스터링 알고리즘의 이론적 근사 오차 및 잘못 분류 오차율은 무엇인가?
• RQ3 스토케스틱 공동 블록 모델 하에서 제안된 방법의 오차율은 최신 기술 대비 어떻게 비교되는가?
• RQ4 랜덤화된 알고리즘이 실제 대규모 방향성 네트워크에서 클러스터링 정확도를 얼마나 잘 유지하는가?
• RQ5 수백만 개 노드까지의 네트워크에서 제안된 방법의 확장성과 효율성은 어떠한가?

주요 결과

• 제안된 랜덤화된 스펙트럴 공동 클러스터링 방법은 스토케스틱 공동 블록 모델 하에서 기존 최신 기술 대비 더 낮은 근사 오차율을 달성한다.
• 제안된 알고리즘의 잘못 분류 오차율은 경계가 있으며, 특히 디그리-수정 스토케스틱 공동 블록 모델 하에서 이전 결과를 초월한다.
• 시뮬레이션을 통해 이론적 오차 경계가 확인되었으며, 다양한 네트워크 구성 및 모델 설정에서 일관된 성능을 보였다.
• 10만 개 이상의 노드를 가진 유럽 이메일 네트워크에서, 전체 SVD 대비 최대 90%까지 계산 시간을 단축하면서도 높은 클러스터링 정확도(Ari > 0.85)를 유지했다.
• R 패키지 RandClust는 최소한의 사용자 입력으로 대규모 방향성 네트워크의 효율적이고 재현 가능한 공동 클러스터링을 가능하게 한다.
• 랜덤 프로젝션 기반 방법은 뛰어난 확장성을 보였고, 랜덤 샘플링 기반 방법은 희박한 네트워크에서 더 높은 정확도를 제공했다.