[논문 리뷰] Hierarchical Clustering via Spreading Metrics

Aurko Roy, Sebastian Pokutta|arXiv (Cornell University)|2016. 10. 28.

Complexity and Algorithms in Graphs참고 문헌 18인용 수 30

한 줄 요약

이 논문은 스프레딩 메트릭 기반 비용 함수를 사용한 계층적 클러스터링에 대해 $O(\log n)$-근사 알고리즘을 제안하며, 이는 이전의 $O(\log^{3/2}n)$ bound를 향상시킨다. 이 방법은 유도된 초거리도의 조합적 특성화를 활용하고, 정수선형계획법(ILP)을 제시하며, 구체적 성장 기반 반복적 LP 반올림을 적용하여 향상된 근사 보장을 달성한다.

ABSTRACT

We study the cost function for hierarchical clusterings introduced by [arXiv:1510.05043] where hierarchies are treated as first-class objects rather than deriving their cost from projections into flat clusters. It was also shown in [arXiv:1510.05043] that a top-down algorithm returns a hierarchical clustering of cost at most $O\left(α_n \log n ight)$ times the cost of the optimal hierarchical clustering, where $α_n$ is the approximation ratio of the Sparsest Cut subroutine used. Thus using the best known approximation algorithm for Sparsest Cut due to Arora-Rao-Vazirani, the top down algorithm returns a hierarchical clustering of cost at most $O\left(\log^{3/2} n ight)$ times the cost of the optimal solution. We improve this by giving an $O(\log{n})$-approximation algorithm for this problem. Our main technical ingredients are a combinatorial characterization of ultrametrics induced by this cost function, deriving an Integer Linear Programming (ILP) formulation for this family of ultrametrics, and showing how to iteratively round an LP relaxation of this formulation by using the idea of \emph{sphere growing} which has been extensively used in the context of graph partitioning. We also prove that our algorithm returns an $O(\log{n})$-approximate hierarchical clustering for a generalization of this cost function also studied in [arXiv:1510.05043]. Experiments show that the hierarchies found by using the ILP formulation as well as our rounding algorithm often have better projections into flat clusters than the standard linkage based algorithms. We also give constant factor inapproximability results for this problem.

연구 동기 및 목표

• 기존 방법보다 향상된 근사 비율을 가지는 다항시간 근사 알고리즘을 개발하는 것.
• 이전 알고리즘이 하위최적 근사 요소를 가진 희박한 컷 서브루틴에 의존하는 한계를 해결하는 것.
• 트리를 평면 클러스터링으로 투영하는 대신 트리를 제1급 객체로 다루는 계층적 클러스터링 비용 함수에 대한 이론적 기반을 제공하는 것.
• 원래 수식의 범위를 초월하여 일반화된 비용 함수를 유지하면서도 $O(\log n)$ 근사 보장을 유지하는 것.
• 클러스터링 품질 측면에서 표준 연결 기반 및 $k$-means 방법과의 비교를 통해 알고리즘의 실용적 성능를 실험적으로 검증하는 것.

제안 방법

• 트리의 조합적 성질을 이용해 스프레딩 메트릭 비용 함수에 의해 유도된 초거리도를 특성화하는 것.
• 유효한 초거리도의 가족에 대한 정수선형계획법(ILP)으로 문제를 공식화하는 것.
• ILP를 선형계획법(LP)으로 완화하고, 그래프 분할에서 유래한 기법인 구체적 성장 기반 반복적 반올림을 적용하여 타당성과 근사 비율을 유지하는 것.
• 엄격하게 증가하는 함수 $f$를 사용하여 비용 함수를 일반화하고, 동일한 반올림 프레임워크 하에서 $O(\log n)$ 근사 보장을 유지하는 것.
• 합성 및 실세계 데이터셋에서 ILP, 그 LP 완화 및 반올림 알고리즘을 구현하여 최적 및 기준 방법과의 솔루션 품질을 비교하는 것.
• 다항식 크기의 LP나 SDP가 상수 요소 근사 보장을 달성할 수 없음을 증명하고, Small Set Expansion 가설 하에 다항시간 알고리즘이 이를 달성할 수 없음을 증명하는 것.

실험 결과

연구 질문

• RQ1 Dasgupta의 스프레딩 메트릭 비용 함수 하에서 계층적 클러스터링에 대해 다항시간 알고리즘이 $O(\log n)$ 근사 보장을 달성할 수 있는가?
• RQ2 $O(\log n)$ 근사 보장이 엄격하게 증가하는 함수 $f$를 포함한 일반화된 비용 함수로 확장될 수 있는가?
• RQ3 스프레딩 메트릭 비용 함수에 의해 유도된 초거리도의 배경이 되는 조합적 구조는 무엇인가?
• RQ4 LP 또는 SDP 완화를 통한 상수 요소 근사 보장 달성에 근본적인 장벽이 존재하는가?
• RQ5 자르기로 평면 클러스터링으로 변환했을 때, 제안된 알고리즘이 연결 기반 및 $k$-means 클러스터링과 비교해 클러스터링 품질 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 알고리즘은 스프레딩 메트릭 비용 함수에 대해 $O(\log n)$-근사 보장을 달성하며, 이는 이전의 $O(\log^{3/2}n)$ bound를 향상시킨다.
• 비용이 부분수의 크기의 엄격하게 증가하는 함수 $f$에 의해 가중치가 부여된 일반화된 비용 함수에 대해서도 알고리즘은 $O(\log n)$ 근사 보장을 유지한다.
• ILP 공식화는 스프레딩 메트릭에 의해 유도된 유효한 초거리도의 가족을 정확히 포괄하여 정확한 최적화를 가능하게 한다.
• 구체적 성장 기반 반복적 반올림은 LP 완화를 정수 해로 성공적으로 변환하며 비용 이탈을 제한한다.
• 실험 결과, 알고리즘이 생성한 계층적 클러스터링은 연결 및 $k$-means 방법보다 더 낮은 오차를 가진 평탄한 클러스터링을 제공한다.
• 논문은 다항식 크기의 LP나 SDP가 상수 요소 근사 보장을 달성할 수 없으며, Small Set Expansion 가설 하에 다항시간 알고리즘도 이를 달성할 수 없다는 것을 입증한다.