[논문 리뷰] Scalable Bottom-Up Hierarchical Clustering.

Nicholas Monath, Avinava Dubey외 10명|arXiv (Cornell University)|2020. 10. 22.

Advanced Clustering Algorithms Research참고 문헌 74인용 수 5

한 줄 요약

이 논문은 고전적인 점진적 군집화보다 라운드 수를 한 차수 정도 줄이며, 병렬로 여러 하위군집을 생성하는 확장 가능한, 라운드 기반의 하향식 계층적 군집화 방법인 하위군집 구성 요소 알고리즘(Single-Cluster Component Algorithm, SCC)을 소개한다. SCC는 높은 품질의 평면 및 계층적 군집화를 달성하며, DP-means 목적함수에 대해 2-근사값을 제공하고, 300억 개의 데이터 포인트를 포함한 최신 기술 수준의 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Bottom-up algorithms such as the classic hierarchical agglomerative clustering, are highly effective for hierarchical as well as flat clustering. However, the large number of rounds and their sequential nature limit the scalability of agglomerative clustering. In this paper, we present an alternative round-based bottom-up hierarchical clustering, the Sub-Cluster Component Algorithm (SCC), that scales gracefully to massive datasets. Our method builds many sub-clusters in parallel in a given round and requires many fewer rounds -- usually an order of magnitude smaller than classic agglomerative clustering. Our theoretical analysis shows that, under a modest separability assumption, SCC will contain the optimal flat clustering. SCC also provides a 2-approx solution to the DP-means objective, thereby introducing a novel application of hierarchical clustering methods. Empirically, SCC finds better hierarchies and flat clusterings even when the data does not satisfy the separability assumption. We demonstrate the scalability of our method by applying it to a dataset of 30 billion points and showing that SCC produces higher quality clusterings than the state-of-the-art.

연구 동기 및 목표

• 고전적인 하향식 계층적 군집화의 확장성 한계를 해결하기 위해, 순차적이고 라운드 기반의 병합 방식으로 인해 대규모 데이터셋에서 성능이 떨어지는 문제를 해결한다.
• 군집화 품질을 유지하면서도 라운드 수를 크게 줄일 수 있는 병렬 처리가 가능한 군집화 접근법을 개발한다.
• 분리 가능성 가정 하에 이론적 보장을 제공하여, SCC가 최적의 평면 군집화를 포함하고 있음을 증명한다.
• DP-means 목적함수를 2-근사값으로 근사하는 데 있어 계층적 군집화의 새로운 응용을 확장한다.
• 실제 대규모 데이터셋, 특히 300억 개의 데이터 포인트를 포함한 데이터셋에서 최신 기술 수준의 방법보다 SCC의 경험적 우수성을 입증한다.

제안 방법

• SCC는 각 라운드에서 하향식 병합 기반 전략을 사용하여 병렬로 여러 하위군집을 생성하는 방식으로 작동한다.
• 알고리즘은 데이터 포인트를 작은 국소 군집으로 그룹화한 후, 계층적으로 병합하는 하위군집화 메커니즘을 사용한다.
• 고전적인 점진적 군집화에 비해 총 라운드 수를 한 차수 정도 줄이는 라운드 기반 접근법을 적용한다.
• 이론적 분석에서 분리 가능성 가정을 도입하여, 약간의 조건 하에 최적의 평면 군집화가 SCC에 포함됨을 증명한다.
• 알고리즘은 DP-means 목적함수에 대해 2-근사값을 제공하여, 계층적 군집화와 잘 알려진 평면 군집화 기준 간의 새로운 이론적 연결 고리를 제공한다.
• 대규모 데이터셋에서 효율적인 처리를 가능하게 하기 위해 데이터 포인트와 하위군집 간의 병렬 처리를 활용한다.

실험 결과

연구 질문

• RQ1 하향식 계층적 군집화 알고리즘을 어떻게 설계할 수 있을까? 이는 라운드 수를 줄이고 병렬 처리를 가능하게 하여 대규모 데이터셋에서도 효율적으로 확장될 수 있도록 하기 위함이다.
• RQ2 제안된 SCC 알고리즘이 최적의 평면 군집화를 포함함을 보장하는 이론적 조건은 무엇인가?
• RQ3 SCC는 DP-means 목적함수를 어느 정도 근사하며, 이는 계층적 군집화의 유용성을 어떻게 확장하는가?
• RQ4 실제 대규모 데이터셋에서 SCC의 군집화 품질은 최신 기술 수준의 방법과 비교해 어떻게 되는가?
• RQ5 데이터가 분리 가능성 가정을 만족하지 못하더라도 SCC는 여전히 높은 군집화 품질을 유지하는가?

주요 결과

• SCC는 고전적인 점진적 군집화에 비해 군집화 라운드 수를 약 한 차수 정도 줄였다.
• 적당한 분리 가능성 가정 하에 SCC는 최적의 평면 군집화를 포함하며, 강력한 이론적 보장을 제공한다.
• SCC는 DP-means 목적함수에 대해 2-근사값을 달성하여, 계층적 군집화와 평면 군집화 간의 새로운 이론적 연결 고리를 도입한다.
• 경험적으로, 데이터가 분리 가능성 가정을 만족하지 못하더라도 SCC는 최신 기술 수준의 방법보다 더 높은 품질의 군집화를 생성한다.
• SCC는 300억 개의 데이터 포인트를 포함한 데이터셋에 성공적으로 확장되어, 대규모 데이터에서의 실용성과 성능을 입증한다.