[논문 리뷰] On Euclidean $k$-Means Clustering with $\alpha$-Center Proximity

Amit Deshpande, Anand Louis외 1명|arXiv (Cornell University)|2018. 04. 28.

Facility Location and Emergency Management인용 수 3

한 줄 요약

이 논문은 각 점이 자신의 클러스터 중심보다 다른 클러스터 중심보다 인자 $\alpha > 1$ 만큼 더 가까운 $\alpha$-center proximity 조건 하에서 유클리드 $k$-means 클러스터링을 연구한다. $k$와 $1/(α-1)$에 대해 지수적이고, 데이터 크기와 차원에 대해 선형인 시간에 실행되는 고정 매개변수 다항식 알고리즘을 제안하며, $\alpha$-center proximity 조건 하에서도 $1+\varepsilon_0$ 요인 이내의 근사화가 NP-난이도임을 증명한다.

ABSTRACT

$k$-means clustering is NP-hard in the worst case but previous work has shown efficient algorithms assuming the optimal $k$-means clusters are \\emph{stable} under additive or multiplicative perturbation of data. This has two caveats. First, we do not know how to efficiently verify this property of optimal solutions that are NP-hard to compute in the first place. Second, the stability assumptions required for polynomial time $k$-means algorithms are often unreasonable when compared to the ground-truth clusters in real-world data. A consequence of multiplicative perturbation resilience is \\emph{center proximity}, that is, every point is closer to the center of its own cluster than the center of any other cluster, by some multiplicative factor $\\alpha > 1$. We study the problem of minimizing the Euclidean $k$-means objective only over clusterings that satisfy $\\alpha$-center proximity. We give a simple algorithm to find the optimal $\\alpha$-center-proximal $k$-means clustering in running time exponential in $k$ and $1/(\\alpha - 1)$ but linear in the number of points and the dimension. We define an analogous $\\alpha$-center proximity condition for outliers, and give similar algorithmic guarantees for $k$-means with outliers and $\\alpha$-center proximity. On the hardness side we show that for any $\\alpha' > 1$, there exists an $\\alpha \\leq \\alpha'$, $(\\alpha >1)$, and an $\\varepsilon_0 > 0$ such that minimizing the $k$-means objective over clusterings that satisfy $\\alpha$-center proximity is NP-hard to approximate within a multiplicative $(1+\\varepsilon_0)$ factor.

연구 동기 및 목표

• 이론적 난이도와 실용적 효율성 사이의 격차를 메우기 위해 실용적인 구조적 가정인 $\alpha$-center proximity에 초점을 맞춘다.
• 실제 데이터에서 관찰되는 자연스러운 안정성 조건인 $\alpha$-center proximity 조건 하에서 $k$-means 목적 함수를 최소화하는 효율적인 알고리즘을 설계한다.
• 외곽점이 있는 클러스터링으로 이 프레임워크를 확장하기 위해 외곽점 처리를 위한 유사한 $\alpha$-center proximity 조건을 도입한다.
• 임의의 상수 요인 $1+\varepsilon_0$ 보다 우수한 근사화가 가능하지 않다는 본질적인 계산 난이도를 $\alpha$-center proximal $k$-means 문제에 대해 확립한다.

제안 방법

• 새로운 문제 정식화: $\alpha$-center proximity를 만족하는 클러스터링에 대해서만 $k$-means 목적 함수를 최소화한다. 이는 $x \in C_i$, $i \neq j$에 대해 $\text{dist}(x, \mu_j) > \alpha \cdot \text{dist}(x, \mu_i)$ 를 만족하며, $\alpha > 1$ 이다.
• 동적 프로그래밍 기반 알고리즘 설계: 시간 복잡도가 $2^{O(k + 1/(α-1))} \cdot \text{poly}(n,d)$ 인 알고리즘을 제안하며, 이는 $k$와 $1/(α-1)$에 대해 지수적이지만, 점의 수 $n$과 차원 $d$에 대해 선형적이다.
• 외곽점이 있는 클러스터링을 위해 유사한 $\alpha$-center proximity 조건을 도입하여, 내부점과 외곽점의 중심으로부터의 거리 간의 곱셈적 간격을 보장한다.
• $\alpha$-center proximal $k$-means 문제의 $1+\varepsilon_0$ 요인 이내 근사화가 NP-난이도임을 증명하기 위해 정점 커버 문제로의 감소를 사용한다. 이는 $\alpha$가 어떤 $\alpha' > 1$ 이하로 유계일 때조차 성립한다.
• $\Omega(2^{\tilde{\Omega}(k/(α^2-1))})$ 개의 서로 다른 $\alpha$-center proximal 클러스터링을 포함하는 인스턴스의 가족을 구성함으로써, $k$와 $1/(α-1)$에 대한 지수적 의존성이 최악의 경우 필수적임을 보여준다.

실험 결과

연구 질문

• RQ1 일반 문제의 NP-난이도에도 불구하고, $\alpha$-center proximity 조건 하에서 $k$-means 클러스터링에 대해 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 $\alpha$-center proximity 조건이 고정 매개변수 다항식 알고리즘의 가능성을 제공하는가? 이는 $k$와 $\alpha$에 대해 어떤 의존성에 기초하는가?
• RQ3 $\alpha$-center proximity 조건을 외곽점이 있는 클러스터링으로 확장할 수 있으며, 알고리즘적 타당성은 유지되는가?
• RQ4 $\alpha$-center proximal $k$-means 문제의 근사화가 어떤 상수 요인 $1+\varepsilon_0$ 보다 더 좋게 가능할 수 있는가? 이는 구조적 제약 조건 하에서도 성립하는가?
• RQ5 주어진 $k$와 $\alpha$에 대해 가능한 서로 다른 $\alpha$-center proximal 클러스터링의 최대 수는 얼마인가?

주요 결과

• 논문은 $k$와 $1/(\alpha-1)$에 대해 지수적이고, $n$과 $d$에 대해 선형인 시간 복잡도 $2^{O(k + 1/(α-1))} \cdot \text{poly}(n,d)$ 를 가지는 $\alpha$-center proximal $k$-means 클러스터링에 대한 고정 매개변수 다항식 알고리즘을 제시한다.
• 모든 $\alpha' > 1$ 에 대해, $\alpha \leq \alpha'$ 인 경우가 존재하며, 이 경우 $\alpha$-center proximal 클러스터링에 대한 $k$-means 목적 함수 최소화 문제가 어떤 $\varepsilon_0 > 0$ 에 대해 $1+\varepsilon_0$ 요인 이내 근사화가 NP-난이도임을 증명한다.
• 주어진 $k$와 $\alpha$에 대해 서로 다른 $\alpha$-center proximal 클러스터링의 수는 최소 $2^{\tilde{\Omega}(k/(α^2-1))}$ 이상이며, 이는 $k$와 $1/(α-1)$에 대한 지수적 의존성이 최악의 경우 필수적임을 보여준다.
• 외곽점에 대한 유사한 $\alpha$-center proximity 조건을 정의하였고, 동일한 알고리즘적 보장을 $k$-means with outliers 문제에 이 조건 하에서 확장하였다.
• 클러스터 크기가 어떤 $\omega > 0$ 에 대해 $\omega n/k$ 이상으로 유계일 때조차 하드네스 결과가 성립함을 보여, 이 제약 조건이 근사화 의미에서 문제의 타당성을 보장하지 못함을 시사한다.