[논문 리뷰] An Online Hierarchical Algorithm for Extreme Clustering

Ari Kobren, Nicholas Monath외 2명|arXiv (Cornell University)|2017. 04. 06.

Advanced Clustering Algorithms Research참고 문헌 5인용 수 4

한 줄 요약

Perch는 트리 회전을 사용하여 군집 순수성과 균형을 유지함으로써 대규모 데이터셋(N)과 대규모 군집 수(K)에 대해 효율적으로 확장되는 온라인 계층적 군집 알고리즘이다. 분리 가능성 가정 하에 완벽한 계층도 순수성을 달성하며, 특히 수백만 개의 군집을 포함한 극단적 군집 설정에서 기존 방법보다 정확도와 속도 면에서 뛰어나다.

ABSTRACT

Many modern clustering methods scale well to a large number of data items, N, but not to a large number of clusters, K. This paper introduces PERCH, a new non-greedy algorithm for online hierarchical clustering that scales to both massive N and K--a problem setting we term extreme clustering. Our algorithm efficiently routes new data points to the leaves of an incrementally-built tree. Motivated by the desire for both accuracy and speed, our approach performs tree rotations for the sake of enhancing subtree purity and encouraging balancedness. We prove that, under a natural separability assumption, our non-greedy algorithm will produce trees with perfect dendrogram purity regardless of online data arrival order. Our experiments demonstrate that PERCH constructs more accurate trees than other tree-building clustering algorithms and scales well with both N and K, achieving a higher quality clustering than the strongest flat clustering competitor in nearly half the time.

연구 동기 및 목표

• 특히 온라인 또는 스트리밍 환경에서 큰 수의 군집(K)을 처리하기 어려운 기존 군집 알고리즘의 확장성 격차를 해소한다.
• 데이터셋 크기(N)와 군집 수(K) 양쪽에 대해 효율적으로 확장되면서도 높은 군집 정확도를 유지하는 방법을 개발한다.
• 점진적 삽입, 회전을 통한 오류 동적 수정, 다중 해상도에서의 효율적 검색 및 군집화를 지원하는 트리 기반 군집 접근법을 설계한다.
• 자연스러운 분리 가능성 가정 하에 데이터 도착 순서에 관계없이 군집 품질에 대한 이론적 보장을 확보한다.
• 메모리 제약 환경에서의 구현을 가능하게 하기 위해 대규모 또는 외부 메모리 군집화를 위한 리프 압축 모드를 제공한다.

제안 방법

• 새로운 데이터 포인트를 리프로 라우팅함으로써 이진 군집 트리를 점진적으로 구성하여 시간이 지남에 따라 계층적 구조를 유지한다.
• 오류 라우팅를 수정하고 하위트리 순수성을 향상시키기 위해 재귀적 회전 절차를 적용하며, 분리 가능성 조건 하에 정확한 군집화로 수렴함을 보장한다.
• 얕은 트리를 유지하고 로그 시간 복잡도의 검색을 지원하기 위해 균형 중심의 회전 메커니즘을 도입한다.
• 내부 노드를 경계 상자로 표현하여 거리 기반 라우팅과 업데이트를 빠르게 수행한다.
• 군집화 품질을 유지하면서도 삽입 속도를 높이기 위해 근사 기법을 적용한다.
• 메모리 제약 환경을 위한 리프 압축 모드를 지원하여 전체 데이터셋이 주 메모리에 들어오지 않더라도 알고리즘이 작동할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 온라인 계층적 군집 알고리즘이 대규모 N과 대규모 K를 동시에 처리하는 극단적 군집 설정에서 높은 정확도와 확장성을 달성할 수 있는가?
• RQ2 비그리디브 기반의 회전 기반 접근법이 데이터 도착 순서에 민감하지 않게, 계층도 순수성과 내성적 안정성 면에서 그레디브 점진 군집화를 능가하는가?
• RQ3 자연스러운 분리 가능성 가정 하에 트리 회전이 데이터 도착 순서에 관계없이 완벽한 계층도 순수성을 보장할 수 있는가?
• RQ4 정확도와 런타임 측면에서 평탄한 군집화 및 다른 트리 기반 군집화 방법과 비교해 볼 때 알고리즘의 성능는 어떠한가?
• RQ5 특히 실세계의 실체 식별 또는 네트워크 커뮤니티 탐지 작업에서 수백만 개의 군집을 포함하는 경우, 알고리즘이 K에 대해 얼마나 잘 확장되는가?

주요 결과

• 분리 가능성 가정 하에 데이터 도착 순서에 관계없이 Perch는 재귀적 회전 메커니즘 덕분에 완벽한 계층도 순수성을 달성한다.
• 알고리즘은 K가 증가함에 따라 다른 모든 트리 기반 군집화 알고리즘보다 계층도 순수성 면에서 뛰어나며, 높은 효율성도 유지한다.
• Perch는 거의 반의 시간에 가장 강력한 평탄한 군집화 경쟁자보다 더 높은 품질의 군집화를 생성하여 뛰어난 정확도-속도 트레이드오프를 입증한다.
• 실험 결과에 따르면 Perch는 군집 수 K에 대해 가장 잘 확장되며, 실세계 데이터셋에서 기존 방법보다 정확도와 런타임 측면에서 모두 뛰어나다.
• 리프 압축 모드 덕분에 메모리 제약 환경에서도 효과적인 군집화가 가능해져, 알고리즘의 적용 범위를 외부 메모리 환경까지 확장한다.
• Perch는 BIRCH나 미니배치 응집 군집화와 같은 최신 온라인 계층적 방법보다 군집 품질과 확장성 면에서 뚜렷이 뛰어나다.