[논문 리뷰] Near-Optimal Explainable $k$-Means for All Dimensions

Moses Charikar, Lunjia Hu|arXiv (Cornell University)|2021. 06. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 55인용 수 6

한 줄 요약

이 논문은 모든 차원 $d \geq 2$ 에서 기존의 $O(k\log k)$ bound 보다 향상된 $k^{1-2/d} \cdot \mathrm{poly}(d\log k)$ 경쟁 비율을 달성하는 해석 가능한 $k$-클러스터링을 위한 효율적인 알고리즘을 제시한다. 방법은 임의의 클러스터링에 대해 축에 평행한 초평면을 사용하여 결정 트리를 구성하는 후처리 접근법을 사용하며, 이 경쟁 비율은 다항로그 인자들 외에는 거의 최적임을 입증한다.

ABSTRACT

Many clustering algorithms are guided by certain cost functions such as the widely-used $k$-means cost. These algorithms divide data points into clusters with often complicated boundaries, creating difficulties in explaining the clustering decision. In a recent work, Dasgupta, Frost, Moshkovitz, and Rashtchian (ICML 2020) introduced explainable clustering, where the cluster boundaries are axis-parallel hyperplanes and the clustering is obtained by applying a decision tree to the data. The central question here is: how much does the explainability constraint increase the value of the cost function? Given $d$-dimensional data points, we show an efficient algorithm that finds an explainable clustering whose $k$-means cost is at most $k^{1 - 2/d}\,\mathrm{poly}(d\log k)$ times the minimum cost achievable by a clustering without the explainability constraint, assuming $k,d\ge 2$. Taking the minimum of this bound and the $k\,\mathrm{polylog} (k)$ bound in independent work by Makarychev-Shan (ICML 2021), Gamlath-Jia-Polak-Svensson (2021), or Esfandiari-Mirrokni-Narayanan (2021), we get an improved bound of $k^{1 - 2/d}\,\mathrm{polylog}(k)$, which we show is optimal for every choice of $k,d\ge 2$ up to a poly-logarithmic factor in $k$. For $d = 2$ in particular, we show an $O(\log k\log\log k)$ bound, improving near-exponentially over the previous best bound of $O(k\log k)$ by Laber and Murtinho (ICML 2021).

연구 동기 및 목표

• 결정 트리를 통해 축에 평행한 초평면 경계를 강제하여 $k$-클러스터링의 해석 가능성 문제를 해결하기 위해.
• 제약이 없는 $k$-클러스터링과 비교할 때 해석 가능성으로 인한 비용 증가를 경쟁 비율 측면에서 최소화하기 위해.
• 특히 $d < \log k$ 일 때 발생하는 낮은 차원 데이터의 경쟁 비율 한계를 메우기 위해.
• 제안된 경쟁 비율이 다항로그 인자들 외에는 최적임을 보여주는 날카운 하한을 설정하기 위해.

제안 방법

• 임의의 $k$-클러스터링을 후처리하여 축에 평행한 초평면을 사용해 $k$개의 리프를 가진 결정 트리를 구축하는 재귀적 분할 전략을 사용한다.
• 기하학적 및 확률적 추론을 활용하여 비용과 트리 깊이를 균형 잡는 재귀적 분할 전략을 적용한다.
• 기존의 $k$-클러스터링과 간격 커버링을 기반으로 한 재귀적 분해를 통해 비용 증가를 재귀 부등식을 통해 제한한다.
• 비용 증폭을 제어하기 위해 비중복 간격을 선택하기 위해 바이탈리 유형의 커버링 레미마를 적용한다.
• 비용 증가를 재귀 단계에서 제한하기 위해 $z_1 + z_2 \leq z + u\Delta$ 와 $\alpha(z) = z^{1+2u}$ 를 포함하는 핵심 부등식을 도입한다.
• 기존의 독립된 연구 결과들과 제안된 알고리즘을 융합하여 모든 $k,d \geq 2$ 에 대해 통합된 경쟁 비율 $k^{1-2/d} \cdot \mathrm{poly}(\log k)$ 를 달성한다.

실험 결과

연구 질문

• RQ1 모든 차원 $d \geq 2$ 에서 $O(k\log k)$ 보다 향상된 경쟁 비율을 갖는 해석 가능한 $k$-클러스터링을 달성할 수 있는가?
• RQ2 모든 $k,d \geq 2$ 에서 경쟁 비율 $k^{1-2/d} \cdot \mathrm{poly}(d\log k)$ 는 거의 최적인가?
• RQ3 d=2 일 때 최고의 가능한 경쟁 비율은 무엇이며, 이는 $O(k\log k)$ 보다 근본적으로 더 나은가?
• RQ4 d \ll \log k 일 때 경쟁 비율은 차원 $d$ 에 따라 어떻게 변화하는가?

주요 결과

• 제안된 알고리즘은 $k$-클러스터링 비용에서 $k^{1-2/d} \cdot \mathrm{poly}(d\log k)$ 경쟁 비율을 달성하며, 모든 $d \geq 2$ 에서 이전의 $O(k\log k)$ bound 보다 향상된다.
• d=2 일 때 경쟁 비율은 $O(\log k \log \log k)$ 로, 이는 이전의 $O(k\log k)$ bound 대비 거의 지수적 향상이다.
• 제안된 경쟁 비율 $k^{1-2/d} \cdot \mathrm{poly}(d\log k)$ 는 다항로그 인자들 외에는 최적임을 보여주는 일치하는 하한 구축을 통해 입증된다.
• d = \Omega(\log k) 일 때 기존의 독립된 연구들과 융합함으로써 경쟁 비율이 $k^{1-2/d} \cdot \mathrm{poly}(\log k)$ 로 향상된다.
• 경쟁 비율에 대해 $\Omega(k^{1-2/d} / \mathrm{poly}(\log k))$ 의 하한이 증명되어 거의 최적임을 확인한다.
• 분석을 통해 경쟁 비율에서 $k$ 와 $d$ 간의 상호작용이 정확히 최적임을 입증하며, 지수 $1-2/d$ 가 최적임을 보여준다.