[논문 리뷰] An Empirical Comparison of the Summarization Power of Graph Clustering Methods

Yike Liu, Neil Shah외 1명|arXiv (Cornell University)|2015. 11. 21.

Complex Network Analysis Techniques참고 문헌 29인용 수 7

한 줄 요약

이 논문은 최소 기술 길이(MDL) 원리와 일반적인 그래프 구조의 어휘를 사용하여 그래프 클러스터링 방법의 요약 능력을 기반으로 한 새로운 평가 프레임워크를 제안한다. k-core 기반의 클러스터링 알고리즘인 KCBC를 도입하고, 실세계 그래프에서 METIS, 루바인, 스펙트럴 클러스터링, 슬래시버너, KCBC 등 다섯 가지 방법을 경험적으로 비교하여, 슬래시버너가 다양한 구조 유형, 특히 별 구조를 포함해 가장 표현력 있는 요약을 생성하는 것으로 밝혀졌다. 반면 KCBC는 높은 효율성과 최소한의 겹침을 갖춘 강력한 압축 성능을 제공한다.

ABSTRACT

How do graph clustering techniques compare with respect to their summarization power? How well can they summarize a million-node graph with a few representative structures? Graph clustering or community detection algorithms can summarize a graph in terms of coherent and tightly connected clusters. In this paper, we compare and contrast different techniques: METIS, Louvain, spectral clustering, SlashBurn and KCBC, our proposed k-core-based clustering method. Unlike prior work that focuses on various measures of cluster quality, we use vocabulary structures that often appear in real graphs and the Minimum Description Length (MDL) principle to obtain a graph summary per clustering method. Our main contributions are: (i) Formulation: We propose a summarization-based evaluation of clustering methods. Our method, VOG-OVERLAP, concisely summarizes graphs in terms of their important structures which lead to small edge overlap, and large node/edge coverage; (ii) Algorithm: we introduce KCBC, a graph decomposition technique, in the heart of which lies the k-core algorithm (iii) Evaluation: We compare the summarization power of five clustering techniques on large real graphs, and analyze their compression performance, summary statistics and runtimes.

연구 동기 및 목표

• 기존의 클러스터 품질 측정 기준에서 벗어나, 실세계 그래프를 얼마나 잘 압축하고 표현하는지에 초점을 맞춘 요약 능력으로 그래프 클러스터링 방법의 평가를 전환하고자 한다.
• 최소 기술 길이(MDL) 원리와 고정된 그래프 구조 어휘(완전 클리크, 별, 체인, 이분법 코어)를 사용하여 요약 효과성을 평가하는 새로운 평가 프레임워크를 개발하고자 한다.
• 스케일이 가능하고, 파rameter가 없는 k-core 기반의 클러스터링 알고리즘인 KCBC를 제안하여 효율적이고 효과적인 그래프 요약을 위해 설계하고자 한다.
• 대규모 실세계 그래프에서 METIS, 루바인, 스펙트럴 클러스터링, 슬래시버너, KCBC 등 다섯 가지 클러스터링 기법을 압축, 구조 다양성, 커버리지, 런타임 측면에서 경험적으로 비교하고자 한다.
• 다양한 클러스터링 접근법 간 요약의 표현력, 간선 겹침, 계산 효율성 간의 상호 상충 관계를 분석하고자 한다.

제안 방법

• 서브그래프 간 겹치는 간선을 고려하여 압축을 향상시키고 중복을 줄이는 VOG-OVERLAP라는 그래프 요약 방법을 제안한다.
• 총 기술 길이 L(G, M) = L(M) + L(E)를 정량화하기 위해 최소 기술 길이(MDL) 원리를 적용한다. 여기서 M은 모델(구조 집합)이고 E는 오차 행렬이다.
• 완전 클리크(fc), 별(st), 체인(ch), 이분법 코어(bc)와 같은 일반적인 그래프 구조의 고정 어휘를 사용하여 손실 없이 압축된 형태로 그래프를 표현한다.
• 겹침이 최소화된 다수의 강하게 연결된 컴포넌트를 추출하기 위해 k-core 분해를 활용하는 새로운 알고리즘인 KCBC(k-core 기반 클러스터링)를 도입한다.
• VOG 요약 파이프라인을 적용한다: (1) 다양한 방법을 통한 클러스터 추출, (2) MDL를 사용한 구조 선택, (3) 최소 기술 길이로 요약 조립.
• 구조 선택을 위한 두 가지 휴리스틱, GREEDY’NFORGET과 TOP10을 사용하며, 최종 평가에서는 더 나은 압축 성능을 보인 GREEDY’NFORGET을 사용한다.

실험 결과

연구 질문

• RQ1 고정된 어휘를 사용하여 다양한 그래프 클러스터링 방법이 대규모 실세계 그래프를 요약하는 능력에서 어떻게 비교되는가?
• RQ2 MDL 인코딩 비용과 구조 다양성 측면에서 어떤 클러스터링 방법이 가장 표현력 있고 압축 효율이 높은 그래프 요약을 생성하는가?
• RQ3 추출된 서브그래프 간 간선 겹침은 최종 요약의 품질과 압축 효율성에 어떤 영향을 미치는가?
• RQ4 다섯 가지 클러스터링 기법 간 계산 효율성(런타임)과 요약 능력 사이의 상호 상충 관계는 어떠한가?
• RQ5 k-core 기반의 KCBC 알고리즘이 기존 방법에 비해 확장성과 요약 품질 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 슬래시버너는 가장 표현력 있는 요약을 생성하며, 모든 네 가지 구조 유형(클리크, 별, 체인, 이분법 코어)을 식별한다. 특히 다른 방법들이 자주 간과하는 별 구조를 특히 잘 탐지한다.
• KCBC는 최소한의 간선 겹침과 함께 높은 압축 성능을 달성하며, 특히 대규모 그래프에서 서브그래프 생성 속도가 가장 빠르다. 예를 들어, 엔론 그래프의 경우 KCBC는 11,297.72초, 슬래시버너는 81,737.3초가 소요되었다.
• 스펙트럴 클러스터링과 METIS는 구조 탐지 및 압축 성능에서 뛰어나지만, KCBC와 METIS보다 느리며, METIS는 더 적은 수의 더 작은 구조를 생성하여 요약 조립 속도가 가장 빠르다.
• 서브그래프 생성의 런타임은 그래프 크기가 커질수록 크게 증가하며, 속도 순서는 KCBC > 스펙트럴 클러스터링 > METIS > 루바인 > 슬래시버너이다.
• 요약 조립 시간은 후보 구조의 수와 크기에 비례하며, METIS는 가장 적은 수의 구조를 생성하여 가장 빠른 조립 속도를 보였다. 반면 슬래시버너는 가장 많은 구조를 생성하였다.
• KCBC는 완전 클리크와 이분법 코어를 성공적으로 식별하며, k-core 기반의 기초 덕분에 파rameter 조정 없이도 효율적이고 확장 가능한 분해를 가능하게 한다.