[논문 리뷰] Explainable $k$-Means and $k$-Medians Clustering

Sanjoy Dasgupta, Nave Frost외 2명|arXiv (Cornell University)|2020. 02. 28.

Rough Sets and Fuzzy Logic참고 문헌 51인용 수 20

한 줄 요약

이 논문은 $k$-means와 $k$-medians 군집화를 보장 가능한 근사 보장을 갖는 소형 결정 트리(임계값 트리)를 사용하여 설명 가능한 군집화를 위한 새로운 접근법을 제안한다. IMM 알고리즘을 제시하여 $k$-medians에 대해 $O(k)$, $k$-means에 대해 $O(k^2)$의 근사 비용을 달성하며, 이와 동일한 $ heta(/log k)$ 하한선을 증명함으로써 설명 가능한 비지도 학습에 대한 이론적 보장을 처음으로 확립한다.

ABSTRACT

Clustering is a popular form of unsupervised learning for geometric data. Unfortunately, many clustering algorithms lead to cluster assignments that are hard to explain, partially because they depend on all the features of the data in a complicated way. To improve interpretability, we consider using a small decision tree to partition a data set into clusters, so that clusters can be characterized in a straightforward manner. We study this problem from a theoretical viewpoint, measuring cluster quality by the $k$-means and $k$-medians objectives: Must there exist a tree-induced clustering whose cost is comparable to that of the best unconstrained clustering, and if so, how can it be found? In terms of negative results, we show, first, that popular top-down decision tree algorithms may lead to clusterings with arbitrarily large cost, and second, that any tree-induced clustering must in general incur an $Ω(\log k)$ approximation factor compared to the optimal clustering. On the positive side, we design an efficient algorithm that produces explainable clusters using a tree with $k$ leaves. For two means/medians, we show that a single threshold cut suffices to achieve a constant factor approximation, and we give nearly-matching lower bounds. For general $k \geq 2$, our algorithm is an $O(k)$ approximation to the optimal $k$-medians and an $O(k^2)$ approximation to the optimal $k$-means. Prior to our work, no algorithms were known with provable guarantees independent of dimension and input size.

연구 동기 및 목표

• 작은 결정 트리를 사용하여 군집을 정의함으로써 정확성과 해석 가능성 모두를 확보하는 군집화 방법을 개발하기 위해.
• 특히 $k$-means와 $k$-medians에 대해 설명 가능한 군집화에서 이론적 보장의 부재를 해결하기 위해.
• 해석 가능성(트리 구조를 통한)과 군집 품질 간의 트레이드오프를 표준 목표로 측정하여 분석하기 위해.
• 트리에 의해 유도된 군집화의 근사 품질에 대한 상한 및 하한을 명시적으로 확립하기 위해.

제안 방법

• $k$개의 리프를 가진 임계값 트리를 사용하여 데이터를 분할하며, 각 리프는 하나의 군집에 대응하고, 결정은 개별 특성에 대한 축에 수직인 컷을 기반으로 한다.
• 최적의 $k$-medians 및 $k$-means 비용을 최소화하는 트리를 순차적으로 구축하기 위해 IMM(반복 최대 병합) 알고리즘을 설계한다.
• 기하학적 및 확률적 추론을 적용하여 트리에 의해 유도된 군집화의 비용이 최적 군집화에 비해 얼마나 되는지 경계를 설정한다.
• 트리 깊이 기반 분석을 통해 트리 구조와 근사 인자 간의 관계를 분석하며, 이는 비용이 트리 깊이가 증가함에 따라 증가함을 보여준다.
• 내부 노드 기반의 비용 분해 기법을 도입하여 데이터 포인트와 군집 중심 간의 상관관계를 활용한다.
• 임의의 초입체 중심과 의사난수 투영을 사용하여 하한선을 증명함으로써, 일반적인 데이터 세트에서는 $ heta(\log k)$가 피할 수 없음을 보여준다.

실험 결과

연구 질문

• RQ1 $k$개의 리프를 가진 임계값 트리는 최적의 제약 없는 군집화에 비해 $k$-medians 또는 $k$-means 비용이 상수 인자 범위 내에 들어오는 군집화를 생성할 수 있는가?
• RQ2 모든 트리에 의해 유도된 군집화에서 $k$-medians와 $k$-means에 대해 달성 가능한 최선의 근사 비용 인자는 무엇인가?
• RQ3 ID3나 CART와 같은 상향식 결정 트리 알고리즘이 좋은 설명 가능한 군집화를 생성할 수 있는가, 아니면 심각하게 실패할 수 있는가?
• RQ4 근사 오차가 유한한 범위 내에 있도록 트리에 의해 유도된 군집화를 구성하는 데에 유용한 알고리즘이 존재하는가?
• RQ5 근사 비용 인자는 데이터 차원에 따라 달라지거나, 입력 크기와 독립적인가?

주요 결과

• IMM 알고리즘은 $k$-medians에 대해 $O(k)$, $k$-means에 대해 $O(k^2)$의 근사 비용을 달성하며, 이 경계는 트리 깊이와 데이터 구조에 따라 달라진다.
• $k=2$일 경우 단일 임계값 컷으로도 상수 인자 범위 내의 근사가 가능하며, 이 경계는 거의 최적이다.
• 모든 트리에 의해 유도된 군집화는 최적 군집화에 비해 최소한 $ Omega(\log k)$의 근사 비용 인자를 지닌다. 이는 최선의 경우에도 마찬가지다.
• 이 하한선은 날카롭고, 직경 $O(1)$이고 중심 간 거리 $ Omega(d)$인 $k$개의 잘 분리된 군집을 갖는 데이터 세트에서 발생하며, 이는 의사난수 투영을 통해 구성된다.
• 근사 비용 인자는 데이터 차원과 입력 크기와 독립적이므로, 다양한 환경에서 보편적으로 강건한 보장을 제공한다.
• 상향식 결정 트리 알고리즘은 최적의 비용에 비해 임의로 큰 비용을 지닌 군집화를 생성할 수 있으므로, IMM과 같은 특화된 알고리즘이 필요함을 시사한다.