[논문 리뷰] Near-optimal Algorithms for Explainable k-Medians and k-Means

Konstantin Makarychev, Liren Shan|arXiv (Cornell University)|2021. 07. 02.

Auction Theory and Applications인용 수 8

한 줄 요약

이 논문은 임계값 결정 트리를 사용하여 설명 가능한 $k$-medians 및 $k$-means 군집화를 위한 근사 최적 알고리즘을 제안하며, $\ell_1$-노름 $k$-medians의 경우 $\tilde{O}(\log k)$ 경쟁 비율을 달성하고 $k$-means의 경우 $\tilde{O}(k)$를 달성하여 이전의 $O(k)$ 및 $O(k^2)$ 경쟁 비율에 비해 향상된다. 또한 $\ell_2$-노름 $k$-medians에 대해 $O(\log^{3/2}k)$ 경쟁 비율을 가지는 알고리즘을 제안하며, 근사 최적성을 보여주는 일치하는 하한선을 제시한다.

ABSTRACT

We consider the problem of explainable $k$-medians and $k$-means introduced by Dasgupta, Frost, Moshkovitz, and Rashtchian~(ICML 2020). In this problem, our goal is to find a threshold decision tree that partitions data into $k$ clusters and minimizes the $k$-medians or $k$-means objective. The obtained clustering is easy to interpret because every decision node of a threshold tree splits data based on a single feature into two groups. We propose a new algorithm for this problem which is $ ilde O(\log k)$ competitive with $k$-medians with $\ell_1$ norm and $ ilde O(k)$ competitive with $k$-means. This is an improvement over the previous guarantees of $O(k)$ and $O(k^2)$ by Dasgupta et al (2020). We also provide a new algorithm which is $O(\log^{3/2} k)$ competitive for $k$-medians with $\ell_2$ norm. Our first algorithm is near-optimal: Dasgupta et al (2020) showed a lower bound of $Ω(\log k)$ for $k$-medians; in this work, we prove a lower bound of $ ildeΩ(k)$ for $k$-means. We also provide a lower bound of $Ω(\log k)$ for $k$-medians with $\ell_2$ norm.

연구 동기 및 목표

• 강력한 근사 보장을 유지하면서 해석 가능한 군집 알고리즘을 효율적으로 개발하기 위한 목표.
• 이전의 $O(k)$ 및 $O(k^2)$ 경쟁 비율에 비해 설명 가능한 $k$-medians ($\ell_1$) 및 $k$-means에 대한 개선된 경쟁 비율 확보.
• $k$-medians ($\ell_2$) 및 $k$-means에 대한 설명 가능성의 가격에 대해 날카로운 하한선을 설정하여 제안된 알고리즘의 근사 최적성을 입증.
• 중심 관리를 효율적으로 처리하기 위해 레드블랙 트리를 사용하여 $O(kd\log^2k)$ 실행 시간을 가지는 빠른 변형 알고리즘 설계.

제안 방법

• 중심 간 특성 차이를 기반으로 랜덤 컷을 사용하여 재귀적으로 클러스터를 분할하는 새로운 임계값 트리 구축 알고리즘 제안.
• 각 리프 노드의 중심 집합을 효율적으로 유지하고 업데이트하기 위해 레드블랙 트리를 사용하여, 노드당 $O(d\log k)$ 시간 내에 컷 샘플링 및 분할을 수행.
• 각 리프 $u$에 대해 분리 컷 집합 $R^u$ 에서 랜덤으로 임계값을 선택하여 중심 간 분리를 보장하면서 비용을 최소화.
• 작은 분할을 우선순위로 삼는 재귀적 분할 전략을 적용하여 데이터 구조 간 삭제 및 삽입 비용을 감소.
• 기하학적 및 조합론적 추론을 활용하여 손상된 중심 수를 근사하고 비용에 대한 하한선 유도.
• 초기 트리 레벨에서 중심 분포에 기반한 이중 케이스 분석을 통해 어떤 임계값 트리의 비용에 대한 하한선을 증명.

실험 결과

연구 질문

• RQ1 Can we design an explainable $k$-medians algorithm with competitive ratio better than $O(k)$ for the $\ell_1$ norm?
• RQ2 What is the optimal competitive ratio achievable for explainable $k$-means, and can it be improved beyond $O(k^2)$?
• RQ3 Is there a near-optimal algorithm for explainable $k$-medians with $\ell_2$ norm, and what is the price of explainability in this setting?
• RQ4 What are the tight lower bounds on the price of explainability for $k$-medians ($\ell_2$) and $k$-means, and how do they compare to upper bounds?

주요 결과

• 제안된 알고리즘은 $\ell_1$-노름 $k$-medians에 대해 $\tilde{O}(\log k)$ 경쟁 비율을 달성하여 이전의 $O(k)$ 경쟁 비율을 향상시켰다.
• $k$-means에 대해서는 $\tilde{O}(k)$ 경쟁 비율을 달성하여 이전의 $O(k^2)$ 보장보다 향상되었다.
• $\ell_2$-노름 $k$-medians에 대해 $O(\log^{3/2}k)$ 경쟁 비율을 가지는 새로운 알고리즘이 제안되었으며, 알려진 $\Omega(\log k)$ 하한선과 로그 인자 수준에서 일치한다.
• $k$-means에 대해 $\tilde{\Omega}(k)$ 하한선을 증명하여 $\tilde{O}(k)$ 경쟁 비율이 거의 최적임을 보였다.
• $\ell_2$-노름 $k$-medians에 대해 $\Omega(\log k)$ 하한선을 확립하여, 새로운 알고리즘의 경쟁 비율과 로그 인자 수준에서 일치함을 입증하였다.
• 중심을 $d$개의 레드블랙 트리에 유지하고 분할 업데이트를 효율적으로 관리함으로써 $O(kd\log^2k)$ 시간 내에 실행되는 빠른 변형 알고리즘이 제안되었다.