[论文解读] Approximation Algorithms for Clustering via Weighted Impurity Measures

Ferdinando Cicalese, Eduardo Sany Laber|arXiv (Cornell University)|Jul 13, 2018

Gene expression and cancer classification参考文献 17被引用 3

一句话总结

本文提出了基于加权不纯度度量的聚类近似算法，引入了一种线性时间算法，对基尼不纯度实现3-近似，对熵不纯度实现$ O(\log \sum_{\mathbf{v} \in V} \|\mathbf{v}\|_1) $-近似。此外，该文首次提出了一种多项式时间$ O(\log^2(\min\{k,L\})) $-近似算法，用于基于熵的聚类，其近似保证与数据点数量无关，并证明了熵不纯度下的问题为强NP难问题。

ABSTRACT

An impurity measures $I:{R}^k o {R}^+$ maps a $k$-dimensional vector ${\bf v}$ to a non-negative value $I({\bf v})$ so that the more homogeneous ${\bf v}$, the larger its impurity. We study clustering based on impurity measures: given a collection $V$ of $n$ many $k$-dimensional vectors and an impurity measure $I$, the goal is to find a partition ${\cal P}$ of $V$ into $L$ groups $V_1,\ldots,V_L$ that minimizes the total impurities of the groups in ${\cal P}$, i.e., $I({\cal P})= \sum_{m=1}^{L} I(\sum_{{\bf v} \in V_m}{\bf v}).$ Impurity minimization is widely used as quality assessment measure in probability distribution clustering and in categorical clustering where it is not possible to rely on geometric properties of the data set. However, in contrast to the case of metric based clustering, the current knowledge of impurity measure based clustering in terms of approximation and inapproximability results is very limited. Our research contributes to fill this gap. We first present a simple linear time algorithm that simultaneously achieves $3$-approximation for the Gini impurity measure and $O(\log(\sum_{{\bf v} \in V} \| {\bf v} \|_1))$-approximation for the Entropy impurity measure. Then, for the Entropy impurity measure---where we also show that finding the optimal clustering is strongly NP-hard---we are able to design a polynomial time $O(\log^2(\min\{k,L\}))$-approximation algorithm. Our algorithm relies on a nontrivial characterization of a class of clusterings that necessarily includes a partition achieving $O(\log^2(\min\{k,L\}))$--approximation of the impurity of the optimal partition. Remarkably, this is the first polynomial time algorithm with approximation guarantee independent of the number of points/vector and not relying on any restriction on the components of the vectors for producing clusterings with minimum entropy.

研究动机与目标

• 为解决基于不纯度度量的聚类在类别数据和概率数据场景下缺乏近似与不可近似性结果的问题。
• 设计用于聚集聚合向量最小加权不纯度问题（PMWIP）的高效近似算法，目标是最小化聚类形成的不纯度总和。
• 实现与数据点数量$ n $无关的近似比，特别是针对对大规模类别聚类至关重要的熵不纯度。
• 证明基于熵的PMWIP为强NP难问题，从而排除完全多项式时间近似方案（FPTAS）存在的可能性。

提出的方法

• 提出一种简单的线性时间算法，通过贪心方式将向量分配至聚类，同时实现对基尼不纯度的3-近似和对熵不纯度的$ O(\log \sum_{\mathbf{v} \in V} \|\mathbf{v}\|_1) $-近似。
• 提出一类聚类的新型刻画，该类聚类必然包含一个实现$ O(\log^2(\min\{k,L\})) $-近似的熵不纯度解。
• 基于分量质量分布采用分桶与剪枝策略，以限制部分聚类与最优子划分之间的偏差。
• 利用熵不纯度的子系统性质，将总不纯度与聚类质量的平衡关联，从而将其归约为3-划分问题。
• 通过从强NP难的3-划分问题进行归约，证明PMWIP在熵不纯度下为强NP难问题。

实验结果

研究问题

• RQ1 我们能否为基于熵的聚类设计一种多项式时间近似算法，且其近似保证与数据点数量$ n $无关？
• RQ2 在熵不纯度下，PMWIP可达到的最佳近似比是多少？该比值能否以$ k $和$ L $表示？
• RQ3 PMWIP在熵不纯度下是否为强NP难问题？这是否意味着不存在FPTAS？
• RQ4 我们能否通过单一算法框架，同时为基尼和熵不纯度度量实现良好的近似比？

主要发现

• 本文提出一种线性时间算法，对基尼不纯度实现3-近似，对熵不纯度实现$ O(\log \sum_{\mathbf{v} \in V} \|\mathbf{v}\|_1) $-近似。
• 当所有向量具有相同的$ \ell_1 $-范数时，该算法对熵不纯度实现$ O(\log n + \log k) $-近似。
• 本文提出一种多项式时间$ O(\log^2(\min\{k,L\})) $-近似算法用于熵不纯度，且近似因子与$ n $无关。
• 证明PMWIP中最小化熵不纯度的问题为强NP难问题，归约为3-划分问题。
• 该归约表明，求解PMWIP的熵不纯度问题与求解3-划分问题一样困难，意味着除非P = NP，否则不存在FPTAS。