[논문 리뷰] Hierarchical Graph Clustering using Node Pair Sampling

Thomas Bonald, Bertrand Charpentier외 2명|arXiv (Cornell University)|2018. 06. 05.

Complex Network Analysis Techniques참고 문헌 22인용 수 35

한 줄 요약

이 논문은 다중 척도 커뮤니티 구조를 포착하기 위해 노드 쌍 샘플링 기반의 파rameter-free, 빠르고 메모리 효율적인 계층적 그래프 클러스터링 알고리즘을 제안한다. 노드 쌍의 공동 확률와 마진 확률의 비율을 사용해 클러스터 간의 감소 가능한 거리를 정의함으로써, 최소 이웃 체인 알고리즘을 통해 효율적인 적재형 클러스터링을 가능하게 하며, 정규화된 딴드로그램을 생성하여 스펙트럴 방법에 비해 뛰어난 속도로 실제 및 합성 그래프에서 계층적 조직을 드러낸다.

ABSTRACT

We present a novel hierarchical graph clustering algorithm inspired by modularity-based clustering techniques. The algorithm is agglomerative and based on a simple distance between clusters induced by the probability of sampling node pairs. We prove that this distance is reducible, which enables the use of the nearest-neighbor chain to speed up the agglomeration. The output of the algorithm is a regular dendrogram, which reveals the multi-scale structure of the graph. The results are illustrated on both synthetic and real datasets.

연구 동기 및 목표

• 기존 그래프 클러스터링 알고리즘이 완전한 계층적 구조를 갖추지 못하고 있으며, 조정하기 어려운 해상도 파ram터가 필요하다는 한계를 해결하기 위해.
• 다중 척도 커뮤니티 구조를 그래프에서 드러내는 파rameter-free, 빠르고 메모리 효율적인 알고리즘을 개발하기 위해.
• 수학적으로 감소 가능한 거리 측정법을 설계하여, 정규화된 딴드로그램을 제공하는 효율적인 계층적 클러스터링을 가능하게 하기 위해.
• 루빈과 같은 알고리즘들이 몇 개의 집합 단계만 생성하는 것과 달리, 전체 클러스터링 계층을 제공하여 다중 해상도 분석에 사용할 수 있도록 하기 위해.

제안 방법

• 알고리즘은 노드 쌍 샘플링을 사용하여 d(i,j) = p(i)p(j)/p(i,j)로 정의된 노드 간의 거리를 정의한다. 여기서 p(i,j)는 총 무게로 정규화된 간선 무게이다.
• 이 거리는 감소 가능한 메트릭을 사용해 클러스터로 확장되어, 계층적 클러스터링이 정규화된 딴드로그램으로 표현될 수 있음을 보장한다.
• 모든 단계에서 거리 계산을 완전히 피하기 위해, 최소 이웃 체인 알고리즘을 적용하여 적재형 클러스터링을 가속화한다.
• 알고리즘은 적재형이며, 싱글릿 클러스터에서 시작하여 정의된 거리 기반으로 가장 가까운 쌍을 반복적으로 병합한다.
• 희소 행렬 연산을 사용해 효율적으로 구현되며, 스펙트럴 임bedding이나 해상도 파ram터 조정이 필요 없어진다.
• 모듈래리티 원칙에 기반하지만, 루빈 알고리즘을 수정하여 동적 거리 계산을 통해 슬라이딩 해상도를 도입한다.

실험 결과

연구 질문

• RQ1 파rameter-free이면서 동시에 다중 척도 커뮤니티 구조를 드러낼 수 있는 그래프 클러스터링 알고리즘을 설계할 수 있는가?
• RQ2 제안된 노드 쌍 샘플링 거리가 클러스터 간 감소 가능한가? 이를 통해 정규화된 딴드로그램을 제공하는 효율적인 계층적 클러스터링이 가능한가?
• RQ3 제안된 파리스 알고리즘의 성능은 스펙트럴 클러스터링 및 루빈과 비교해 클러스터링 품질과 실행 시간 측면에서 어떻게 되는가?
• RQ4 알고리즘이 실제 세계의 그래프가 지닌 내재된 다중 척도 특성을 반영하는 전체 클러스터링 계층을 생성할 수 있는가?

주요 결과

• 파리스 알고리즘은 오픈스트리트에서 정규화된 다스구프타 비용 0.0102를 기록하여 스펙트럴 클러스터링(0.0103)을 초월하거나 이를 능가하는 성능을 보였다.
• 아마존 그래프에서는 43초 만에 정규화된 비용 0.0297를 기록했으며, 시간 제한 내에 완료되지 못한 스펙트럴 클러스터링보다 뚜렷하게 빠른 속도를 보였다.
• DBLP 그래프에서는 31초 만에 비용 0.110을 기록했고, 루빈의 52초 대비 뛰어난 속도를 기록하면서도 경쟁 가능한 품질을 유지했다.
• 대규모 유튜브 그래프에서는 16분 30초 만에 완료되었으며, 루빈(8분)보다 빠른 속도를 기록했고, 루빈이 전체 계층 출력을 제공하지 못하는 것과 달리 파리스는 전체 계층을 제공했다.
• 위키백과 학교 그래프에서는 비용 0.402, 위키백과 인간 그래프에서는 비용 0.131를 기록하여 복잡한 실제 데이터셋에서 뛰어난 성능을 보였다.
• 모든 테스트된 그래프에서 스펙트럴 클러스터링보다 일관되게 빠른 속도를 기록했으며, 가장 큰 그래프를 제외한 모든 그래프에서 2분 이내로 실행되었고, 대부분의 데이터셋에서 루빈보다 빠른 속도를 기록하면서 더 풍부한 계층적 출력을 제공했다.