[논문 리뷰] Approximation Algorithms for Clustering via Weighted Impurity Measures

Ferdinando Cicalese, Eduardo Sany Laber|arXiv (Cornell University)|2018. 07. 13.

Gene expression and cancer classification참고 문헌 17인용 수 3

한 줄 요약

이 논문은 가중 불순도 측정을 통한 클러스터링을 위한 근사 알고리즘을 제안하며, Gini 불순도에 대해 3-근사인 선형 시간 알고리즘과 엔트로피 불순도에 대해 $ O(\log \sum_{\mathbf{v} \in V} \|\mathbf{v}\|_1) $-근사를 달성한다. 또한 데이터 포인트 수에 영향을 받지 않는 근사 보장을 갖는 최초의 다항시간 $ O(\log^2(\min\{k,L\})) $-근사 알고리즘을 제안하고, 엔트로피 기반 클러스터링에 대해 강한 NP-난이도를 증명한다.

ABSTRACT

An impurity measures $I:{R}^k o {R}^+$ maps a $k$-dimensional vector ${\bf v}$ to a non-negative value $I({\bf v})$ so that the more homogeneous ${\bf v}$, the larger its impurity. We study clustering based on impurity measures: given a collection $V$ of $n$ many $k$-dimensional vectors and an impurity measure $I$, the goal is to find a partition ${\cal P}$ of $V$ into $L$ groups $V_1,\ldots,V_L$ that minimizes the total impurities of the groups in ${\cal P}$, i.e., $I({\cal P})= \sum_{m=1}^{L} I(\sum_{{\bf v} \in V_m}{\bf v}).$ Impurity minimization is widely used as quality assessment measure in probability distribution clustering and in categorical clustering where it is not possible to rely on geometric properties of the data set. However, in contrast to the case of metric based clustering, the current knowledge of impurity measure based clustering in terms of approximation and inapproximability results is very limited. Our research contributes to fill this gap. We first present a simple linear time algorithm that simultaneously achieves $3$-approximation for the Gini impurity measure and $O(\log(\sum_{{\bf v} \in V} \| {\bf v} \|_1))$-approximation for the Entropy impurity measure. Then, for the Entropy impurity measure---where we also show that finding the optimal clustering is strongly NP-hard---we are able to design a polynomial time $O(\log^2(\min\{k,L\}))$-approximation algorithm. Our algorithm relies on a nontrivial characterization of a class of clusterings that necessarily includes a partition achieving $O(\log^2(\min\{k,L\}))$--approximation of the impurity of the optimal partition. Remarkably, this is the first polynomial time algorithm with approximation guarantee independent of the number of points/vector and not relying on any restriction on the components of the vectors for producing clusterings with minimum entropy.

연구 동기 및 목표

• 범주형 및 확률적 데이터 환경에서 불순도 측정 기반 클러스터링에 대한 근사 및 비근사 결과의 부족을 해결하기 위해.
• 벡터를 집계하여 형성된 클러스터의 불순도 합을 최소화하는 목적을 가진 '가중 불순도 최소화 분할 문제(PMWIP)'에 대해 효율적인 근사 알고리즘을 설계하기 위해.
• 특히 엔트로피 불순도에 대해 데이터 포인트 수 $ n $ 와 무관한 근사 비율을 확보하기 위해, 이는 대규모 범주형 클러스터링에 매우 중요하다.
• 엔트로피 기반 PMWIP의 강한 NP-난이도를 입증하여, 완전 다항시간 근사 스킴(FPTAS)의 존재를 배제한다.

제안 방법

• Gini 불순도에 대해 3-근사, 엔트로피 불순도에 대해 $ O(\log \sum_{\mathbf{v} \in V} \|\mathbf{v}\|_1) $-근사를 동시에 달성하는 간단한 선형 시간 알고리즘을 제안하며, 이는 벡터를 클러스터에 탐욕적으로 할당하는 방식이다.
• 엔트로피 불순도에 대해 $ O(\log^2(\min\{k,L\})) $-근사를 달성하는 해가 반드시 포함된 클러스터링의 새로운 특성화를 제안한다.
• 성분별 질량 분포를 기반으로 한 버킷링 및 자르기 전략을 활용하여, 부분 클러스터링이 최적의 부분 분할에서 벗어나지 않는 정도를 제한한다.
• 엔트로피 불순도의 서시스템 성질을 활용하여 총 불순도를 클러스터 질량의 균형과 연결함으로써, 3-분할 문제로의 환원을 가능하게 한다.
• 강한 NP-난이도를 가진 3-분할 문제로부터의 환원을 적용하여, 엔트로피 불순도를 가진 PMWIP가 강한 NP-난이도임을 증명한다.

실험 결과

연구 질문

• RQ1 데이터 포인트 수 $ n $ 와 무관한 근사 보장을 갖는 엔트로피 기반 클러스터링에 대해 다항시간 근사 알고리즘을 설계할 수 있는가?
• RQ2 엔트로피 불순도 하에서 PMWIP에 대해 달성 가능한 최적의 근사 비율은 무엇이며, 이는 $ k $ 와 $ L $ 에 따라 유계로 표현될 수 있는가?
• RQ3 엔트로피 불순도를 가진 PMWIP는 강한 NP-난이도이며, 이는 FPTAS의 존재를 배제하는가?
• RQ4 단일 알고리즘 프레임워크를 통해 Gini 및 엔트로피 불순도 측정 모두에 대해 우수한 근사 비율을 동시에 달성할 수 있는가?

주요 결과

• 논문은 Gini 불순도에 대해 3-근사를 달성하고, 엔트로피 불순도에 대해 $ O(\log \sum_{\mathbf{v} \in V} \|\mathbf{v}\|_1) $-근사를 달성하는 선형 시간 알고리즘을 제시한다.
• 모든 벡터의 $ \ell_1 $-노름이 동일한 경우, 알고리즘은 엔트로피 불순도에 대해 $ O(\log n + \log k) $-근사를 달성한다.
• 논문은 엔트로피 불순도에 대해 $ O(\log^2(\min\{k,L\})) $-근사 비율을 갖는 다항시간 근사 알고리즘을 개발하였으며, 이 근사 비율은 $ n $ 에 영향을 받지 않는다.
• PMWIP에서 엔트로피 불순도를 최소화하는 문제는 3-분할 문제로부터의 환원을 통해 강한 NP-난이도임을 증명하였다.
• 환원을 통해 엔트로피 불순도를 가진 PMWIP를 해결하는 것은 3-분할 문제를 해결하는 것과 동등한 난이도임을 입증하였으며, 이는 P = NP 가 아닌 한 FPTAS가 존재하지 않음을 시사한다.