[논문 리뷰] Center-based Clustering under Perturbation Stability

Pranjal Awasthi, Avrim Blum외 1명|arXiv (Cornell University)|2010. 09. 18.

Facility Location and Emergency Management참고 문헌 14인용 수 3

한 줄 요약

이 논문은 페르투르베이션 안정성 하에서 중심 기반 클러스터링의 최적 알고리즘을 다항시간에 제시한다. 유한 거리 공간에서는 3-퍼투베이션 안정성, 일반 거리 공간에서는 2+√3-퍼투베이션 안정성이 정확한 복구를 보장한다. 이 방법은 단일 연결 계층적 클러스터링과 동적 프로그래밍을 조합하여 결과로 얻어진 덴드로그램 내에서 최적의 k-클러스터링을 식별한다. 이는 이러한 인스턴스들이 약간의 안정성 조건 하에서 효율적인 정확한 해를 가짐을 증명한다.

ABSTRACT

Clustering under most popular objective functions is NP-hard, even to approximate well, and so unlikely to be efficiently solvable in the worst case. Recently, Bilu and Linial \cite{Bilu09} suggested an approach aimed at bypassing this computational barrier by using properties of instances one might hope to hold in practice. In particular, they argue that instances in practice should be stable to small perturbations in the metric space and give an efficient algorithm for clustering instances of the Max-Cut problem that are stable to perturbations of size $O(n^{1/2})$. In addition, they conjecture that instances stable to as little as O(1) perturbations should be solvable in polynomial time. In this paper we prove that this conjecture is true for any center-based clustering objective (such as $k$-median, $k$-means, and $k$-center). Specifically, we show we can efficiently find the optimal clustering assuming only stability to factor-3 perturbations of the underlying metric in spaces without Steiner points, and stability to factor $2+\sqrt{3}$ perturbations for general metrics. In particular, we show for such instances that the popular Single-Linkage algorithm combined with dynamic programming will find the optimal clustering. We also present NP-hardness results under a weaker but related condition.

연구 동기 및 목표

• 최악의 조건 하에서 중심 기반 클러스터링의 계산 난이도를 해결하기 위해 현실적인 안정성 가정을 도입한다.
• 작은 곱셈적 거리 페르투베이션에 대한 안정성, 즉 페르투베이션 안정성의 성질이 다항시간 정확 알고리즘을 가능하게 할 수 있는지 조사한다.
• k-미디안 및 k-미니멈과 같은 분리 가능한 중심 기반 목표 함수에 대해, 페르투베이션 안정성 계수 α ≥ 3 (유한 거리 공간에서) 또는 α ≥ 2+√3 (일반 거리 공간에서)이면 효율적인 최적 클러스터링이 가능하다는 것을 증명한다.
• 일반 거리 공간에서 α < 3일 경우 NP-난이도를 증명하여 페르투베이션 임계값의 날카로움을 확립한다.
• 기본적인 단일 연결 방법(조기 정지)이 안정된 인스턴스에서 실패함을 보여주며, 이는 전체 계층적 클러스터링과 동적 프로그래밍이 필요하다는 것을 시사한다.

제안 방법

• 모든 점들이 하나의 클러스터로 합쳐질 때까지 단일 연결 클러스터링을 수행하여 완전한 덴드로그램(계층적 클러스터링 트리)을 구축한다.
• 왼쪽 및 오른쪽 서브트리에 대해 최적의 해를 재귀적으로 조합하여 덴드로그램 내에서 최고의 k-클러스터링을 동적 프로그래밍으로 찾는다.
• 최적의 k-프루닝을 정의한다: 왼쪽 및 오른쪽 서브트리에 각각 k′ 및 k−k′개의 클러스터가 존재할 때, 점수의 최소합(또는 k-센터의 경우 최대합)을 구한다.
• 페르투베이션 안정성 성질을 활용하여 진짜 최적 클러스터링이 덴드로그램 내의 유효한 프루닝으로 나타나도록 보장한다.
• Balcan 등(2010)의 결과를 이용하여 동적 프로그래밍의 출력이 실제로 전역 최적 클러스터링임을 증명한다.
• 안정된 인스턴스의 기하학적 구조를 분석하여 중심에 가까운 점들이 페르투베이션 하에서도 최적 클러스터링이 유지됨을 보여준다.

실험 결과

연구 질문

• RQ1 n1/2 미만의 상수 요소 α를 가진 페르투베이션 안정성이 k-미디안 및 k-미니멈과 같은 중심 기반 목표 함수에 대해 다항시간 정확 클러스터링을 가능하게 할 수 있는가?
• RQ2 α-페르투베이션 안정성이 중심 기반 문제에서 최적 클러스터링을 위한 효율적 알고리즘의 존재를 보장하는 임계값 α가 존재하는가?
• RQ3 기본적인 단일 연결 방법(조기 정지)이 안정된 인스턴스에서 실패하는 이유는 무엇이며, 어떤 수정이 정확성을 보장하는가?
• RQ4 유한 거리 공간에서 3 이하, 일반 거리 공간에서 2+√3 이하로 페르투베이션 임계값을 낮출 수 있는가? 여전히 효율적인 정확한 클러스터링이 가능한가?
• RQ5 페르투베이션 안정성과 중심에 가까운 점의 관계는 무엇이며, NP-난이도 측면에서 이 한계는 얼마나 날카로운가?

주요 결과

• 모든 분리 가능한 중심 기반 클러스터링 목표 함수에 대해, 유한 거리 공간에서 α ≥ 3의 페르투베이션 안정성이 보장되면 최적 클러스터링이 다항시간 내에 찾을 수 있다.
• 일반 거리 공간에서는 α ≥ 2+√3의 페르투베이션 안정성이 다항시간 정확 클러스터링을 보장한다.
• 제안된 알고리즘—완전한 덴드로그램에 대한 단일 연결 클러스터링 이후 동적 프로그래밍 적용—이 안정성 조건 하에서 최적의 k-클러스터링을 정확히 복원한다.
• 논문은 α < 3일 경우 일반 거리 공간에서 α-센터 근접 조건 하에서 k-미디안 문제를 풀기가 NP-난이도임을 증명하여, 유한 거리 공간에서 α = 3의 임계값이 날카로움을 보여준다.
• 기본적인 단일 연결 방법(클러스터 수 k에서 정지)은 안정된 인스턴스에서 잘못된 병합 순서로 인해 실패한다. 이는 인스턴스가 3-퍼투베이션 안정성 조건을 만족하더라도 마찬가지다.
• 분석 결과, 페르투베이션 안정성이 강한 중심에 가까운 점을 암시하며, 이는 최적 클러스터링이 모든 α-퍼투베이션 하에서도 유지됨을 보장한다.