[논문 리뷰] Hierarchical Agglomerative Graph Clustering in Poly-Logarithmic Depth

Laxman Dhulipala, David D. Eisenstat외 3명|arXiv (Cornell University)|2022. 06. 23.

Advanced Clustering Algorithms Research인용 수 5

한 줄 요약

이 논문은 유사도 그래프에서 평균 연결법 HAC에 대해 다항로그 시간 복잡도와 거의 선형 작업량을 갖는 최초의 병렬 계층적 응집 클러스터링 알고리즘인 ParHAC를 제안한다. Õ(m) 작업량과 O(log⁴n) 깊이로 유사도 그래프에서 (1+ε)-근사값을 달성하여 거대한 그래프의 확장 가능한 클러스터링을 가능하게 하며, 예를 들어 일반적인 머신에서 1240억 개 간선을 3.5시간 이내에 처리한다. 이는 정확한 HAC의 품질을 유지한다.

ABSTRACT

Obtaining scalable algorithms for hierarchical agglomerative clustering (HAC) is of significant interest due to the massive size of real-world datasets. At the same time, efficiently parallelizing HAC is difficult due to the seemingly sequential nature of the algorithm. In this paper, we address this issue and present ParHAC, the first efficient parallel HAC algorithm with sublinear depth for the widely-used average-linkage function. In particular, we provide a $(1+ε)$-approximation algorithm for this problem on $m$ edge graphs using $ ilde{O}(m)$ work and poly-logarithmic depth. Moreover, we show that obtaining similar bounds for exact average-linkage HAC is not possible under standard complexity-theoretic assumptions. We complement our theoretical results with a comprehensive study of the ParHAC algorithm in terms of its scalability, performance, and quality, and compare with several state-of-the-art sequential and parallel baselines. On a broad set of large publicly-available real-world datasets, we find that ParHAC obtains a 50.1x speedup on average over the best sequential baseline, while achieving quality similar to the exact HAC algorithm. We also show that ParHAC can cluster one of the largest publicly available graph datasets with 124 billion edges in a little over three hours using a commodity multicore machine.

연구 동기 및 목표

• 계층적 응집 클러스터링(HAC)의 본질적인 순차적 성격으로 인해 오랫동안 해결되지 않은 병렬화 과제를 해결하기 위해.
• 고품질의 클러스터링을 유지하면서도 하위선형 깊이와 거의 선형 작업량을 갖는 병렬 HAC 알고리즘을 설계하기 위해.
• 유사도 그래프에서 평균 연결법에 대해 다항로그 시간 복잡도를 갖는 최초의 (1+ε)-근사 HAC 알고리즘을 제공하기 위해.
• 실제 및 합성 데이터셋, 특히 수십억 개 간선을 포함한 그래프에서 실용적인 확장성과 품질을 입증하기 위해.
• 기본 복잡도 가정 하에 정확한 평균 연결법 HAC의 유사한 복잡도 한계를 이론적으로 입증하기 위해.

제안 방법

• 각 점을 정점으로, 비영인 유사도를 간선으로 표현하는 유사도 그래프 표현을 사용하여 입력 크기를 O(n²)에서 O(m)로 감소시킨다.
• 병렬적으로 클러스터 간 유사도를 효율적으로 유지하고 업데이트할 수 있는 새로운 병렬 데이터 구조를 도입하여 동시 병합 결정을 가능하게 한다.
• 사용자 정의 (1+ε)-근사 보장 조건을 충족하는 동시에 유사도 그래프의 계층적 분해를 위한 재귀적 클러스터링 전략을 활용한다.
• 완전한 유사도 행렬을 저장하지 않고도 근사된 클러스터 유사도를 유지하기 위해 랜덤 샘플링 및 희소화 기법을 활용한다.
• 성능 분석을 위해 작업-깊이 모델을 사용하여 Õ(m)의 기대 작업량과 고확률로 O(log⁴n)의 깊이를 확보한다.
• 병렬적으로 다음 병합 작업을 효율적으로 선택하기 위해 동적 우선순위 큐 추상화를 통합하여 의존성 체인을 최소화한다.

실험 결과

연구 질문

• RQ1 계층적 응집 클러스터링은 다항로그 시간 복잡도를 갖는 동시에 고품질의 클러스터링을 유지하면서 병렬화될 수 있는가?
• RQ2 평균 연결법 클러스터링에 대해 거의 선형 작업량과 하위선형 깊이를 갖는 (1+ε)-근사 HAC 알고리즘을 설계하는 것이 가능한가?
• RQ3 기본 복잡도 가정 하에 정확한 평균 연결법 HAC의 병렬화에 이론적 한계는 무엇인가?
• RQ4 제안된 병렬 알고리즘의 품질과 성능은 실제 데이터셋에서 순차적 및 기존 병렬 기준 대비 어떻게 비교되는가?
• RQ5 1000억 개 이상의 간선을 포함한 거대한 그래프를 일반 하드웨어에서 확장 가능한 방식으로 처리할 수 있는가?

주요 결과

• ParHAC는 다양한 실제 데이터셋에서 최고의 순차 기준 대비 평균 50.1배의 속도 향상을 달성하면서도 정확한 HAC와 유사한 클러스터링 품질을 유지한다.
• 알고리즘은 고확률로 Õ(m)의 기대 작업량과 O(log⁴n)의 깊이를 확보하여 작업 효율성이 높고 매우 병렬화 가능하다.
• ParHAC는 일반 멀티코어 머신에서 1240억 개 간선의 그래프를 3.5시간 이내에 클러스터링하여 실용적인 확장성을 입증한다.
• 이 방법은 평균 연결법 HAC에 대해 (1+ε)-근사값을 제공하여 각 단계에서 최적 선택과 (1+ε) 이내의 병합 결정을 보장한다.
• 이론적 분석을 통해 유사한 복잡도 한계를 갖는 정확한 평균 연결법 HAC의 병렬화가 표준 복잡도 가정 하에 거의 불가능하다는 점을 입증하며, 근사화의 必요성을 강조한다.
• 합성, UCI, GeoLife, CHEM 데이터셋을 포함한 다양한 데이터셋에 대한 실증 평가 결과, ARI, NMI, Dasgupta 비용 등의 다수 지표에서 일관된 고품질 결과를 확인하였다.