[論文レビュー] Approximation Algorithms for Clustering via Weighted Impurity Measures

Ferdinando Cicalese, Eduardo Sany Laber|arXiv (Cornell University)|Jul 13, 2018

Gene expression and cancer classification参考文献 17被引用数 3

ひとこと要約

本稿では、重み付き不純度測度を用いたクラスタリングの近似アルゴリズムを提示し、Gini不純度に対しては3-近似を達成する線形時間アルゴリズム、エントロピー不純度に対しては$ O(\log \sum_{\mathbf{v} \in V} \|\mathbf{v}\|_1) $-近似を達成するアルゴリズムを提案する。さらに、データポイント数に依存しない近似保証を持つエントロピーに基づくクラスタリングのための、初めての多項式時間$ O(\log^2(\min\{k,L\})) $-近似アルゴリズムを提供し、エントロピー不純度における問題が強いNP困難であることを証明する。

ABSTRACT

An impurity measures $I:{R}^k o {R}^+$ maps a $k$-dimensional vector ${\bf v}$ to a non-negative value $I({\bf v})$ so that the more homogeneous ${\bf v}$, the larger its impurity. We study clustering based on impurity measures: given a collection $V$ of $n$ many $k$-dimensional vectors and an impurity measure $I$, the goal is to find a partition ${\cal P}$ of $V$ into $L$ groups $V_1,\ldots,V_L$ that minimizes the total impurities of the groups in ${\cal P}$, i.e., $I({\cal P})= \sum_{m=1}^{L} I(\sum_{{\bf v} \in V_m}{\bf v}).$ Impurity minimization is widely used as quality assessment measure in probability distribution clustering and in categorical clustering where it is not possible to rely on geometric properties of the data set. However, in contrast to the case of metric based clustering, the current knowledge of impurity measure based clustering in terms of approximation and inapproximability results is very limited. Our research contributes to fill this gap. We first present a simple linear time algorithm that simultaneously achieves $3$-approximation for the Gini impurity measure and $O(\log(\sum_{{\bf v} \in V} \| {\bf v} \|_1))$-approximation for the Entropy impurity measure. Then, for the Entropy impurity measure---where we also show that finding the optimal clustering is strongly NP-hard---we are able to design a polynomial time $O(\log^2(\min\{k,L\}))$-approximation algorithm. Our algorithm relies on a nontrivial characterization of a class of clusterings that necessarily includes a partition achieving $O(\log^2(\min\{k,L\}))$--approximation of the impurity of the optimal partition. Remarkably, this is the first polynomial time algorithm with approximation guarantee independent of the number of points/vector and not relying on any restriction on the components of the vectors for producing clusterings with minimum entropy.

研究の動機と目的

• カテゴリカルおよび確率的データ設定における不純度測度に基づくクラスタリングの近似および不近似可能性に関する結果の欠如に対処すること。
• ベクトルの集約によって形成されるクラスタの不純度の合計を最小化することを目的とする、重み付き不純度最小分割問題（PMWIP）のための効率的な近似アルゴリズムの設計。
• 特にエントロピー不純度において、データポイント数$ n $に依存しない近似比を達成すること。これは大規模なカテゴリカルクラスタリングにおいて重要である。
• エントロピーに基づくPMWIPが強いNP困難であることを証明し、完全に多項式時間近似スキーム（FPTAS）の存在を排除すること。

提案手法

• Gini不純度とエントロピー不純度の両方に対して、3-近似と$ O(\log \sum_{\mathbf{v} \in V} \|\mathbf{v}\|_1) $-近似を同時に達成する、単純な線形時間アルゴリズムを提案。このアルゴリズムは、ベクトルをクラスタに貪欲に割り当てることで動作する。
• エントロピー不純度の$ O(\log^2(\min\{k,L\})) $-近似を達成する解を含むクラスタリングのクラスを、新しい特徴付けによって定義する。
• 成分ごとの質量分布に基づくバケツ化と pruning 策略を用いて、部分的クラスタリングが最適な部分分割から逸脱する度合いを制限する。
• エントロピー不純度のサブシステム性を活用し、総不純度とクラスタ質量のバランスの関係を関係づけることで、3分割問題への還元を可能にする。
• 強いNP困難である3分割問題への還元を適用し、エントロピー不純度を用いたPMWIPが強いNP困難であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 エントロピーに基づくクラスタリングに対して、データポイント数$ n $に依存しない近似保証を持つ多項式時間近似アルゴリズムを設計できるか？
• RQ2 エントロピー不純度下でのPMWIPにおいて、達成可能な最良の近似比は何か？ また、これは$ k $と$ L $の関数として有界にできるか？
• RQ3 エントロピー不純度を用いたPMWIPは強いNP困難であるか？ これはFPTASの存在を排除するのか？
• RQ4 1つのアルゴリズムフレームワークを用いて、Gini不純度とエントロピー不純度の両方に対して良好な近似比を同時に達成できるか？

主な発見

• 本稿では、Gini不純度に対しては3-近似、エントロピー不純度に対しては$ O(\log \sum_{\mathbf{v} \in V} \|\mathbf{v}\|_1) $-近似を達成する線形時間アルゴリズムを提示する。
• すべてのベクトルが同じ$ \ell_1 $-ノルムを持つ場合、アルゴリズムはエントロピー不純度に対して$ O(\log n + \log k) $-近似を達成する。
• エントロピー不純度のための多項式時間$ O(\log^2(\min\{k,L\})) $-近似アルゴリズムを構築し、近似要因が$ n $に依存しないことを保証する。
• PMWIPにおけるエントロピー不純度の最小化問題が、3分割問題への還元によって強いNP困難であることが証明された。
• 還元により、エントロピー不純度を用いたPMWIPを解くことは3分割問題を解くのと同程度に難しいことが示され、P = NPでない限りFPTASは存在しないことが示された。