[논문 리뷰] A k-core Decomposition Framework for Graph Clustering

Christos Giatsidis, Fragkiskos D. Malliaros외 5명|arXiv (Cornell University)|2016. 07. 07.

Complex Network Analysis Techniques참고 문헌 28인용 수 6

한 줄 요약

이 논문은 k-core 분해를 활용하여 핵심도 순서 내림차순으로 그래프를 계층적으로 처리함으로써 더 빠른 클러스터링을 가능하게 하면서도 품질을 유지하거나 향상시키는 확장 가능한 그래프 클러스터링 프레임워크인 CoreCluster를 소개한다. 가장 조밀한 k-core에서 클러스터링을 시작하여 점차 낮은 핵심도로 확장함으로써, 기반 클러스터링 알고리즘의 성능을 가속화하면서도 구조적 충실도를 유지한다.

ABSTRACT

Graph clustering or community detection constitutes an important task for investigating the internal structure of graphs, with a plethora of applications in several domains. Traditional techniques for graph clustering, such as spectral methods, typically suffer from high time and space complexity. In this article, we present CoreCluster, an efficient graph clustering framework based on the concept of graph degeneracy, that can be used along with any known graph clustering algorithm. Our approach capitalizes on processing the graph in an hierarchical manner provided by its core expansion sequence, an ordered partition of the graph into different levels according to the k-core decomposition. Such a partition provides an efficient way to process the graph in an incremental manner that preserves its clustering structure, while making the execution of the chosen clustering algorithm much faster due to the smaller size of the graph's partitions onto which the algorithm operates. An experimental analysis on a multitude of real and synthetic data demonstrates that our approach can be applied to any clustering algorithm accelerating the clustering process, while the quality of the clustering structure is preserved or even improved.

연구 동기 및 목표

• 기존 그래프 클러스터링 알고리즘, 특히 스펙트럼 및 모듈래리티 기반 방법에서 발생하는 높은 시간 및 공간 복잡도로 인한 확장성 문제를 해결하기 위해.
• 기존의 어떤 그래프 클러스터링 알고리즘과도 통합될 수 있는 일반 목적의 프레임워크를 개발하기 위해.
• k-core 분해의 계층적 구조를 활용하여 점진적 처리 과정에서 클러스터링 품질을 유지하고 향상시키기 위해.
• k-core 분해가 자연스럽고 클러스터링을 보존하는 그래프 분할 방식임을 이론적이고 경험적으로 입증하기 위해.

제안 방법

• 프레임워크는 k-core 분해를 사용하여 그래프를 핵심도 순서로 정렬된 포함 관계를 가진 하위그래프로 분할한다. 가장 높은 k-core부터 시작한다.
• 클러스터링은 가장 조밀한 k-core(가장 높은 분해도)에서 시작되며, 이는 가장 일관된 커뮤니티 구조를 포함할 것으로 기대된다.
• 프레임워크는 핵심도가 높은 쪽에서 낮은 쪽으로 점진적으로 클러스터를 확장하며, 핵심도 증가 순서를 처리 순서로 사용한다.
• 기본 클러스터링 알고리즘은 어떤 것이라도 지원되며, 이는 점차적으로 덜 조밀한 하위그래프에만 적용되어 계산 비용을 줄인다.
• 메모리 효율적인 설계로, 전체 그래프를 주 메모리에 올리지 않고도 부분적으로 처리할 수 있도록 한다.
• 이론적 분석을 통해 k-core의 구조가 클러스터링 성질을 보존하고 그래프 컷 기준 최소화와 관련이 있음을 밝혀냈다.

실험 결과

연구 질문

• RQ1 k-core 분해는 그래프 클러스터링을 위한 확장 가능하고 효과적인 계층적 구조를 제공할 수 있는가?
• RQ2 가장 높은 k-core에서 클러스터링을 시작할 경우, 전체 그래프를 클러스터링하는 것과 비교해 클러스터링 품질을 유지하거나 향상시키는가?
• RQ3 CoreCluster 프레임워크는 계산 비용이 높은 클러스터링 알고리즘의 런타임에 어떤 영향을 미치는가?
• RQ4 k-core 계층은 실제 세계의 그래프에서 내재된 클러스터링 구조를 어느 정도 반영하는가?
• RQ5 이 프레임워크는 다양한 구조를 가진 실제 및 합성 그래프에 효과적으로 적용될 수 있는가?

주요 결과

• CoreCluster는 클러스터링 알고리즘의 실행 시간을 크게 단축시키며, 간선 수에 비례하여 선형적으로 증가함을 확인했다. 이는 대규모 그래프에서도 성립한다.
• 클러스터링 품질을 유지하거나 향상시키며, 특히 가장 높은 k-core에서 높은 평균 클러스터링 계수를 보이고, 컛던스 메트릭에서 뛰어난 성능을 보였다.
• 가장 높은 k-core는 항상 가장 높은 평균 클러스터링 계수를 보이며, 강한 국소적 커뮤니티 구조를 나타낸다.
• 실험 결과, Metis와 같은 기준 방법에 비해 CoreCluster는 특히 대규모 그래프에서 컷던스 측면에서 뛰어난 성능을 보였다.
• k-core 분해는 자연스럽고 클러스터링을 보존하는 분할 방식을 제공하며, 최소한의 구조적 손실로 점진적 클러스터 확장을 안내한다.
• 프레임워크는 메모리 효율적이며, 전체 그래프를 주 메모리에 올리지 않아도 대규모 그래프에 적용할 수 있다.