[논문 리뷰] Nearly-Tight and Oblivious Algorithms for Explainable Clustering

Buddhima Gamlath, Xinrui Jia외 2명|arXiv (Cornell University)|2021. 06. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 14인용 수 7

한 줄 요약

이 논문은 설명 가능한 클러스터링을 위한 단순하고 오블리비어스(무관심)한 알고리즘을 제안하며, 거의 날카로운 근사 보장을 달성한다: $k$-medians의 경우 $O("log^2 k)$, $k$-means의 경우 $O(k\log^2 k)$로, $k$-means의 새로운 $\Omega(k)$ 하한선과 거의 일치한다. 알고리즘은 데이터 크기 $n$과 무관하게 $O(dk\log^2 k)$ 시간에 작동하며, 참조 클러스터 중심점들만을 사용하여 결정 트리를 구성하고, 훈련 데이터에 대한 과적합을 방지한다.

ABSTRACT

We study the problem of explainable clustering in the setting first formalized by Dasgupta, Frost, Moshkovitz, and Rashtchian (ICML 2020). A $k$-clustering is said to be explainable if it is given by a decision tree where each internal node splits data points with a threshold cut in a single dimension (feature), and each of the $k$ leaves corresponds to a cluster. We give an algorithm that outputs an explainable clustering that loses at most a factor of $O(\log^2 k)$ compared to an optimal (not necessarily explainable) clustering for the $k$-medians objective, and a factor of $O(k \log^2 k)$ for the $k$-means objective. This improves over the previous best upper bounds of $O(k)$ and $O(k^2)$, respectively, and nearly matches the previous $Ω(\log k)$ lower bound for $k$-medians and our new $Ω(k)$ lower bound for $k$-means. The algorithm is remarkably simple. In particular, given an initial not necessarily explainable clustering in $\mathbb{R}^d$, it is oblivious to the data points and runs in time $O(dk \log^2 k)$, independent of the number of data points $n$. Our upper and lower bounds also generalize to objectives given by higher $\ell_p$-norms.

연구 동기 및 목표

• 클러스터링에서 설명 가능성의 가격에 대한 알려진 상한과 하한 사이의 격차를 메우기.
• 결정 트리를 통해 설명 가능한 클러스터링을 구성하기 위한 단순하고 빠르며 데이터에 무관한 알고리즘 설계.
• $\ell_p$-노름 목적함수에 대해 거의 날카로운 근사 보장 확립, $k$-medians 및 $k$-means 포함.
• $k$-means에 대한 새로운 $\Omega(k)$ 하한선 증명, 이전의 $\Omega(\log k)$ 하한선을 향상시킴.
• 알고리즘이 데이터 포인트에 대해 오블리비어스하여 과적합을 방지하고, 미리 보지 않은 데이터로의 일반화를 가능하게 함.

제안 방법

• 알고리즘은 $\ell_p$-노름 목적함수에 맞게 조정된 분포를 사용하여 특성 차원에서 무작위 임계값 컷을 샘플링하여 임계값 트리를 구성한다.
• 데이터 포인트가 아닌 $k$개의 참조 클러스터 중심점들만을 사용하므로, 데이터셋에 대해 오블리비어스하며 과적합에 저항한다.
• 세그먼트 트리를 기반으로 한 데이터 구조가 $k$개 중심점으로부터의 간격을 $O(dk\log^2 k)$ 시간 내에 효율적으로 샘플링할 수 있도록 한다.
• 세그먼트 트리는 부분합 쿼리를 상수 시간에 지원하도록 보강되어 샘플링 과정을 최적화한다.
• 모든 중심점이 반복적으로 임계값 컷을 샘플링하여 서로 다른 리프에 위치하도록 함으로써, 모든 $k$개 중심점이 분리되도록 보장한다.
• 이 방법은 모든 $\ell_p$-노름 목적함수로 일반화되며, 근사 인자는 $O(k^{p-1}\log^2 k)$가 된다.

실험 결과

연구 질문

• RQ1 결정 트리를 사용한 설명 가능한 $k$-medians 및 $k$-means 클러스터링에서 달성 가능한 최고의 근사 비율은 무엇인가?
• RQ2 전체 데이터셋에 접근하지 않더라도 단순하고 오블리비어스한 알고리즘이 거의 날카로운 한계를 달성할 수 있는가?
• RQ3 $\ell_p$-노름 목적함수에 대해 설명 가능성의 본질적 비용은 무엇이며, $k$에 따라 어떻게 척도가 변하는가?
• RQ4 $k$-means 클러스터링에 대한 $O(k)$ 상한선은 날카로운가, 아니면 더 향상시킬 수 있는가?
• RQ5 $k$-means에 대해 $\Omega(k)$ 하한선을 확립할 수 있는가, 이는 향상된 상한선과 일치하는가?

주요 결과

• 제안된 알고리즘은 $k$-medians 목적함수에 대해 $O(\log^2 k)$ 근사 비율을 달성하며, 이는 이전의 $O(k)$ 상한선을 향상시킨다.
• $k$-means 목적함수에 대해 알고리즘은 $O(k\log^2 k)$ 근사 비율을 달성하며, 이는 이전의 $O(k^2)$ 상한선을 향상시킨다.
• $k$-means에 대해 새로운 하한선 $\Omega(k)$를 증명하여, $O(k\log^2 k)$ 상한선이 거의 날카로운 것을 보여준다.
• 알고리즘은 $O(dk\log^2 k)$ 시간에 작동하며, 데이터 포인트 수 $n$과 무관하여 매우 확장 가능하다.
• 알고리즘이 데이터 포인트에 대해 오블리비어스하므로 과적합을 방지하고, 동일한 기대 비용 보장을 유지하면서도 미리 보지 않은 데이터로 일반화된다.
• 결과는 모든 $\ell_p$-노름 목적함수로 일반화되며, 근사 인자는 $O(k^{p-1}\log^2 k)$가 된다.