[논문 리뷰] Streaming, Memory Limited Algorithms for Community Detection

Se-Young Yun, Lelarge, Marc외 1명|arXiv (Cornell University)|2014. 11. 03.

Complex Network Analysis Techniques참고 문헌 14인용 수 6

한 줄 요약

이 논문은 스트리밍 및 메모리 제한 조건에서 희박한 네트워크의 커뮤니티 탐지에 대해 스토하스틱 블록 모델을 사용하는 알고리즘을 제안한다. 선형 메모리 스케일링을 가지는 오프라인 알고리즘과 비선형 메모리 스케일링을 가지는 온라인 알고리즘을 도입하여, 인cidency 행렬의 열을 순차적으로 처리함으로써 부분 정보 복구를 위한 새로운 스펙트럴 알고리즘을 활용해 渐진적으로 정확한 클러스터링을 달성한다.

ABSTRACT

In this paper, we consider sparse networks consisting of a finite number of non-overlapping communities, i.e. disjoint clusters, so that there is higher density within clusters than across clusters. Both the intra- and inter-cluster edge densities vanish when the size of the graph grows large, making the cluster reconstruction problem nosier and hence difficult to solve. We are interested in scenarios where the network size is very large, so that the adjacency matrix of the graph is hard to manipulate and store. The data stream model in which columns of the adjacency matrix are revealed sequentially constitutes a natural framework in this setting. For this model, we develop two novel clustering algorithms that extract the clusters asymptotically accurately. The first algorithm is {\it offline}, as it needs to store and keep the assignments of nodes to clusters, and requires a memory that scales linearly with the network size. The second algorithm is {\it online}, as it may classify a node when the corresponding column is revealed and then discard this information. This algorithm requires a memory growing sub-linearly with the network size. To construct these efficient streaming memory-limited clustering algorithms, we first address the problem of clustering with partial information, where only a small proportion of the columns of the adjacency matrix is observed and develop, for this setting, a new spectral algorithm which is of independent interest.

연구 동기 및 목표

• 전체 인cidency 행렬을 저장하는 것이 불가능한 대규모 네트워크에서 커뮤니티 탐지 문제를 해결한다.
• 엄격한 메모리 제약 조건 하에서 작동하는 효율적인 스트리밍 알고리즘을 개발하여 그래프의 열을 순차적으로 처리한다.
• 분류 후 데이터를 삭제하는 온라인 알고리즘을 설계하여 네트워크 크기와 비례하지 않는 부분 메모리 사용을 달성한다.
• 부분적 또는 스트리밍 데이터에서 정확한 클러스터링이 가능해지는 이론적 조건을 설정한다.
• 부분 정보를 가진 클러스터링을 위한 새로운 스펙트럴 알고리즘을 제안하며, 이는 주요 응용 외에도 독립적인 관심을 끌 만하다.

제안 방법

• 관측된 노드를 분류하기 위해 전체 열의 일부인 γ 비율의 부분 인cidency 행렬 열을 사용하는 스펙트럴 클러스터링 알고리즘을 제안한다.
• 열을 블록 단위로 처리하는 전략을 도입하며, 각 블록은 스펙트럴 클러스터링을 통해 분석된다.
• 이전에 식별된 클러스터와 새로운 블록의 클러스터 할당을 상호 클러스터 간 연결 수를 기반으로 융합하는 융합 절차를 사용한다.
• 스펙트럴 분해 중 메모리 사용을 줄이기 위해 저랭크 SVD 근사에 파wer 메서드를 적용한다.
• 저장 필요를 줄이면서도 클러스터링 정확도를 유지하기 위해 열에 무작위 샘플링을 적용한다.
• 분류 후 데이터를 삭제하고 현재 클러스터 분할과 이전 결과를 융합하기만 하는 온라인 변형을 설계한다.

실험 결과

연구 질문

• RQ1 관측된 인cidency 행렬의 일부만을 다룰 수 있는 스트리밍 및 메모리 제한 조건에서 정확한 커뮤니티 탐지가 가능할 수 있는가?
• RQ2 이러한 스트리밍 환경에서 渐진적으로 정확한 클러스터링을 달성하기 위한 최소 메모리 요구량은 얼마인가?
• RQ3 특정 열의 부분 집합으로 제한된 정보는 커뮤니티 탐지의 가능성과 정확도에 어떤 영향을 미치는가?
• RQ4 비선형 메모리 사용을 가지는 온라인 알고리즘이 커뮤니티 탐지에서 渐진적으로 정확한 결과를 달성할 수 있는가?
• RQ5 그래프의 조밀도와 샘플링 비율에 어떤 조건이 요구되어야 스펙트럴 클러스터링이 부분 데이터에서도 효과적으로 유지되는가?

주요 결과

• 오프라인 알고리즘은 h(n) = ω(log(n)/min{f(n), n^{1/3}}) 및 T = ω(n/min{f(n), n^{1/3}}) 조건 하에서 네트워크 크기 n에 대해 선형 메모리 스케일링으로 渐진적으로 정확한 클러스터링을 달성한다.
• 온라인 알고리즘은 메모리 스케일링이 Θ(nh(n))으로, h(n)이 n^{1−ε}보다 느리게 증가할 경우 비선형 메모리 스케일링을 달성하며 渐진적으로 정확한 클러스터링을 달성한다.
• f(n) = ω(log(n))인 그래프의 경우 h(n) = 1을 선택하면 선형 메모리로 정확한 클러스터링이 가능하며, 잘못 분류될 확률은 exp(−cT min{f(n), n^{1/3}}/n)보다 더 빠르게 감소한다.
• 제안된 부분 정보를 위한 스펙트럴 알고리즘은 √γf(n) = ω(1)일 때 정확한 클러스터링을 위한 필수 및 충분 조건이며, 관측된 노드와 미관측된 노드 간의 간선에 의존한다.
• 알고리즘은 자료를 한 번만 스캔하며, 모든 열이 수집되기 전에 클러스터를 재구성할 수 있다.
• 온라인 알고리즘은 커뮤니티 탐지에 있어 알려진 최초의 비선형 메모리 스트리밍 알고리즘으로, 문헌에서 이와 같은 이론적 보장을 가진 사례는 전무하다.