[論文レビュー] Improved Spectral-Norm Bounds for Clustering

Pranjal Awasthi, Or Sheffet|arXiv (Cornell University)|Jun 14, 2012

Bayesian Methods and Mixture Models参考文献 25被引用数 23

ひとこと要約

この論文は、中心間隔要件を √k 倍弱める一方で、近接性条件を k 倍弱めるものの、強いクラスタリング保証を維持することで、スペクトルノルムに基づくクラスタリング境界を改善している。三角不等式およびマーキov不等式のみを用いた分析により、(1−ε) 分の点が近接性条件を満たす場合でも、ほぼ最適な性能を達成する。

ABSTRACT

Aiming to unify known results about clustering mixtures of distributions under separation conditions, Kumar and Kannan[2010] introduced a deterministic condition for clustering datasets. They showed that this single deterministic condition encompasses many previously studied clustering assumptions. More specifically, their proximity condition requires that in the target $k$-clustering, the projection of a point $x$ onto the line joining its cluster center $μ$ and some other center $μ'$, is a large additive factor closer to $μ$ than to $μ'$. This additive factor can be roughly described as $k$ times the spectral norm of the matrix representing the differences between the given (known) dataset and the means of the (unknown) target clustering. Clearly, the proximity condition implies center separation -- the distance between any two centers must be as large as the above mentioned bound. In this paper we improve upon the work of Kumar and Kannan along several axes. First, we weaken the center separation bound by a factor of $\sqrt{k}$, and secondly we weaken the proximity condition by a factor of $k$. Using these weaker bounds we still achieve the same guarantees when all points satisfy the proximity condition. We also achieve better guarantees when only $(1-ε)$-fraction of the points satisfy the weaker proximity condition. The bulk of our analysis relies only on center separation under which one can produce a clustering which (i) has low error, (ii) has low $k$-means cost, and (iii) has centers very close to the target centers. Our improved separation condition allows us to match the results of the Planted Partition Model of McSherry[2001], improve upon the results of Ostrovsky et al[2006], and improve separation results for mixture of Gaussian models in a particular setting.

研究の動機と目的

• Kumar と Kannan (2010) の先行研究の決定論的クラスタリング条件を統合・改善し、必要な中心間隔および近接性条件を弱める。
• カンプルの反復的手続きを用いずに、基本的な不等式（三角不等式およびマーキov不等式）に依存する、クラスタリングアルゴリズムの分析を単純化する。
• k が n と共に増加する場合に特に有効となるように、(1−ε) 分の点が近接性条件を満たす場合でも、より良いクラスタリング保証を達成する。
• 植え付けられたパーティションモデルおよびガウス混合モデルを含む特定のモデルに対して、より弱い仮定のもとで既知の境界を一致または上回る。

提案手法

• 中心間隔条件を O(√k) に再定式化し、O(k) ではなく、中心間の距離要件を緩和する。
• 近接性条件を k に線形に依存する形に再定式化し、2次的依存から脱することで、部分的満たしの場合でも強力な保証を得られるようにする。
• コア分析において、Kumar-Kannan のアルゴリズムで用いられるような複雑な反復的改善手順を避けて、三角不等式およびマーキov不等式のみを用いる。
• データ行列 A とターゲット中心行列 C の差 A−C のスペクトルノルムを分析し、クラスタリング性能の逸脱を制限する。
• 新しい中心間隔条件のもとで、プラント・パーティション・モデルにおいてすべての点が高確率で √k-良い点であることを証明し、McSherry の境界と正確に一致する。
• (1−ε) 分の点が近接性条件を満たす場合、アルゴリズムはすべての点のうち (ε + O(1/c⁴))-分の点を除き正しくクラスタリングできることを示し、先行研究の O(k²ε) よりも改善されている。

実験結果

リサーチクエスチョン

• RQ1 Kumar と Kannan の枠組みにおける中心間隔条件を、クラスタリング保証を損なわずに √k 倍弱めることは可能か？
• RQ2 近接性条件を k 倍弱めても、すべての点のうちわずかな定数分の点を除き正しくクラスタリングできる保証を得られるか？
• RQ3 三角不等式およびマーキov不等式といった基本的な不等式のみを用いて、強力なクラスタリング性能を達成することは可能か？
• RQ4 より弱い仮定のもとで、改善された境界が植え付けられたパーティション・モデルおよびガウス混合モデルの既知の境界と一致または上回るか？
• RQ5 中心間隔条件を局所的に行い、全体のスペクトルノルムではなく、個々のクラスタ構造に依存させるのは可能か？

主な発見

• 本論文は、Kumar と Kannan の結果に比べ、中心間隔境界を √k 倍改善しており、幾何的仮定を著しく緩和した条件下でもクラスタリングが可能である。
• 近接性条件が k 倍弱められ、点の (1−ε) 分の点が満たしてもアルゴリズムが成功する。
• (1−ε) 分の点が近接性条件を満たす場合、アルゴリズムはすべての点のうち (ε + O(1/c⁴))-分の点を除き正しくクラスタリングでき、[KK10] の O(k²ε) よりも顕著に改善されている。
• 分析が大幅に単純化されている：三角不等式およびマーキov不等式のみを用いており、複数回のLloyd反復や複雑な集中不等式の導出を不要としている。
• 改善された境界は、プラント・パーティション・モデルにおけるMcSherry (2001) の結果と正確に一致しており、先行研究のギャップを解消している。
• このフレームワークは一般性を備えており、k が n と共に増加する状況において、ガウス混合モデルの結果に対しても改善をもたらす、特に分離条件が厳しい場合に有効である。