[論文レビュー] A bi-criteria approximation algorithm for $k$ Means

Konstantin Makarychev, Yury Makarychev+2 more|arXiv (Cornell University)|Jul 15, 2015

Facility Location and Emergency Management参考文献 13被引用数 10

ひとこと要約

この論文は、正確にk個のクラスタではなくβk個のクラスタを開くことを許容する二基準近似アルゴリズムを提示し、βが増加するにつれて減少する顕著に改善された近似比α(β)を達成する。この手法は線形計画法の丸めと局所探索を用い、α(β) ≤ 9+ε および α(2) < 2.59、α(3) < 1.4 という保証を提供し、次元に多項式的に依存するため、高次元設定でも有効である。

ABSTRACT

We consider the classical $k$-means clustering problem in the setting bi-criteria approximation, in which an algoithm is allowed to output $βk &gt; k$ clusters, and must produce a clustering with cost at most $α$ times the to the cost of the optimal set of $k$ clusters. We argue that this approach is natural in many settings, for which the exact number of clusters is a priori unknown, or unimportant up to a constant factor. We give new bi-criteria approximation algorithms, based on linear programming and local search, respectively, which attain a guarantee $α(β)$ depending on the number $βk$ of clusters that may be opened. Our gurantee $α(β)$ is always at most $9 + ε$ and improves rapidly with $β$ (for example: $α(2)&lt;2.59$, and $α(3) &lt; 1.4$). Moreover, our algorithms have only polynomial dependence on the dimension of the input data, and so are applicable in high-dimensional settings.

研究の動機と目的

• 正確なクラスタ数kが不確実または定数要因の範囲内で重要でない場合のk-meansクラスタリングの課題に対処すること。
• 正確にk個のクラスタではなくβk > k個のクラスタを使用することで、正確にk個のクラスタを使用する場合に達成可能なより良い近似比を達成する二基準近似アルゴリズムを開発すること。
• 次元に多項式的に依存するアルゴリズムを提供し、高次元データ設定への適用可能性を確保すること。
• クラスタ数に緩和を加えることで、既存の定数因子近似を上回ること。

提案手法

• 次元削減を用いて、多項式サイズの候補センター集合を保証する離散的候補センター集合へのk-means問題の還元。
• 線形計画法の丸めを用いてβk個のセンターを選択し、近似比が有界であることを保証する丸め方針を採用。
• スワップによるセンター集合間の交換を重み付けしてコスト増加を制御する局所探索アルゴリズムを用いる。
• 各最適センターが合計重みβに相当するスワップに含まれる一方、各現在のセンターが最大(1+1/p)の重みに相当するスワップに含まれるように、重み付きスワップ集合を構築する。これによりコスト比較が可能になる。
• 鍵となる構造的性質を活用：任意のスワップにおいて、コストの変化は、点から旧センターと新センターへの距離の差で有界である。
• 最終的な近似比は、重み付きコスト不等式を組み合わせ、定理7を適用してk-medianコストとk-meansコストの関係を導出し、α(β) ≤ (1 + 2/β + 2/(βp))² / (1−O(ε)) を得る。

実験結果

リサーチクエスチョン

• RQ1 k-meansの二基準近似アルゴリズムは、クラスタ数をわずかに超えることで、既知の定数因子アルゴリズムよりも優れた近似比を達成できるか？
• RQ2 β > 1 となる際、近似比α(β)はどのように減少し、小さなβ値での定量的利点は何か？
• RQ3 このようなアルゴリズムは、次元pに対して多項式的依存性を維持できるか？ これにより、高次元設定でのスケーラビリティが保証されるか？
• RQ4 クラスタ数の制約を緩和した条件下で、保証可能な二基準保証を持つk-meansの局所探索アルゴリズムを設計することは可能か？

主な発見

• アルゴリズムは α(β) ≤ (1 + 2/β + 2/(βp))² / (1−O(ε)) の近似比を達成し、常に9+ε以下であり、βが増加するにつれて急速に減少する。
• β=2の場合、近似比は2.59未満であり、類似の保証を得るためにほぼ10倍多くのセンターを必要としていた従来の結果を顕著に改善する。
• β=3の場合、近似比は1.4未満に低下し、わずか3k個のセンターでほぼ最適に近い性能を示す。
• βが1に近い場合、局所探索アルゴリズムはLPベースの手法を上回る性能を示すが、βが大きい場合にはLPベースの手法が優勢であり、相補的な強みを示す。
• アルゴリズムは点数と次元に関して多項式時間で実行され、高次元データへのスケーラビリティを保証する。
• β=1.3では(β, α(β))二基準近似でα(β) < 6.45、β=1.5ではα(β) < 4.8を達成し、クラスタ数と解の品質の間の強力なトレードオフを示している。