[논문 리뷰] A Short Introduction to Local Graph Clustering Methods and Software

Kimon Fountoulakis, David F. Gleich외 1명|arXiv (Cornell University)|2018. 10. 17.

Complex Network Analysis Techniques참고 문헌 11인용 수 7

한 줄 요약

이 논문은 로컬 그래프 클러스터링(LGC)을 소개한다. LGC는 시드 노드 주변에서 소규모 고품질 클러스터를 효율적으로 식별하기 위해 확장 가능한 로컬 그래프 클러스터링 알고리즘을 구현한 파이썬 소프트웨어 패키지이다. 최적화 기반 방법(예: 근사 PageRank 및 유량 기반 기법)을 활용함으로써 LGC는 런타임과 메모리 사용량을 출력 클러스터의 크기 비례로 유지하여, 표준 하드웨어에서도 10억 노드 그래프 분석이 가능해지며, 도우너스 및 클러스터 품질에 대한 이론적 보장을 유지한다.

ABSTRACT

Graph clustering has many important applications in computing, but due to the increasing sizes of graphs, even traditionally fast clustering methods can be computationally expensive for real-world graphs of interest. Scalability problems led to the development of local graph clustering algorithms that come with a variety of theoretical guarantees. Rather than return a global clustering of the entire graph, local clustering algorithms return a single cluster around a given seed node or set of seed nodes. These algorithms improve scalability because they use time and memory resources that depend only on the size of the cluster returned, instead of the size of the input graph. Indeed, for many of them, their running time grows linearly with the size of the output. In addition to scalability arguments, local graph clustering algorithms have proven to be very useful for identifying and interpreting small-scale and meso-scale structure in large-scale graphs. As opposed to heuristic operational procedures, this class of algorithms comes with strong algorithmic and statistical theory. These include statistical guarantees that prove they have implicit regularization properties. One of the challenges with the existing literature on these approaches is that they are published in a wide variety of areas, including theoretical computer science, statistics, data science, and mathematics. This has made it difficult to relate the various algorithms and ideas together into a cohesive whole. We have recently been working on unifying these diverse perspectives through the lens of optimization as well as providing software to perform these computations in a cohesive fashion. In this note, we provide a brief introduction to local graph clustering, we provide some representative examples of our perspective, and we introduce our software named Local Graph Clustering (LGC).

연구 동기 및 목표

• 대규모 실세계 그래프에서 전역 그래프 클러스터링 방법의 확장성 한계를 해결하기 위해.
• 이론적 컴퓨터 과학, 통계학, 데이터 과학 분야의 다양한 로컬 클러스터링 접근법을 통합하여 일관된 프레임워크를 제공하기 위해.
• 이론적 보장을 갖춘 메모리 인식형 효율적 로컬 클러스터링을 가능하게 하는 소프트웨어 도구를 제공하기 위해.
• 커뮤니티 탐지, 네트워크 커뮤니티 프로파일링, 다중 클래스 레이블 예측과 같은 실용적 응용을 지원하기 위해.
• 로컬 클러스터링 방법이 최소한의 계산 오버헤드로 거의 최적의 도우너스를 달성할 수 있음을 보여주기 위해.

제안 방법

• LGC는 일곱 가지 로컬 클러스터링 알고리즘을 구현한다: 세 가지 스펙트럼 방법(근사 PageRank, PageRank Nibble, ℓ₁-정규화된 PageRank)과 네 가지 유량 기반 방법(Max-flow Quotient-cut Improvement, FlowImprove, SimpleLocal, Capacity Releasing Diffusion).
• 알고리즘은 전체 그래프의 크기 대신 출력 클러스터의 크기 비례로 실행 시간과 메모리 사용량을 유지하도록 설계되어 있다.
• LGC는 네트워크 커뮤니티 프로파일(NCPs)을 계산하기 위해 파ip라인 기반 접근법을 사용한다. NCPs는 각 커뮤니티 크기에 대해 달성 가능한 최고의 도우너스를 그린다.
• NCP 계산은 NP-난이도 문제를 효율적으로 근사하기 위해 로컬 클러스터링 휴리스틱을 사용한다.
• 다중 클래스 레이블 예측은 시드 노드에서부터 레이블을 전파하는 데 핵심적으로 로컬 클러스터링을 활용한다.
• 성능 향상을 위해 C++ 루틴을 통합하고, 사용 가능한 시스템 메모리를 활용해 최대 10억 노드의 그래프를 지원한다.

실험 결과

연구 질문

• RQ1 로컬 그래프 클러스터링 방법은 출력 클러스터 크기 비례 자원만으로 높은 품질의 클러스터를 달성할 수 있는가?
• RQ2 실세계 그래프에서 로컬 클러스터링 알고리즘이 도우너스 및 확장성 측면에서 어떻게 비교되는가?
• RQ3 로컬 클러스터링은 대규모 그래프의 근사 네트워크 커뮤니티 프로파일(NCPs) 계산에 효과적으로 활용될 수 있는가?
• RQ4 로컬 클러스터링 방법은 다중 클래스 설정에서 레이블 예측을 어느 정도 향상시킬 수 있는가?
• RQ5 이론적 보장과 실용적 소프트웨어의 통합이 데이터 과학 응용 분야에서의 사용성에 어떻게 기여하는가?

주요 결과

• LGC는 출력 클러스터 크기 비례 자원만을 사용하여 거의 최적의 도우너스를 갖춘 로컬 클러스터를 성공적으로 계산하여 계산 비용을 크게 감소시켰다.
• 소프트웨어를 통해 약 9.4GB의 RAM을 사용하여 랩탑에서 최대 1억 1,700만 개 간선을 가진 그래프 분석이 가능하다.
• LGC는 대용량 메모리 시스템에서 10억 노드 그래프로 확장되어 실세계 응용에 대한 실용적 타당성을 입증했다.
• 로컬 클러스터링을 통한 NCP 계산은 NP-난이도 문제의 스케일러블한 근사치를 제공하여 다양한 척도에서 커뮤니티 구조 분석을 가능하게 했다.
• 핵심 구성 요소로 로컬 클러스터링을 활용한 다중 클래스 레이블 예측은 로컬 구조를 효과적으로 활용하여 뛰어난 성능를 보였다.
• 다양한 이론적 접근법을 하나의 소프트웨어 패키지에 통합함으로써 로컬 클러스터링 방법의 통합적 분석 및 비교를 용이하게 했다.