[論文レビュー] Relax, no need to round: integrality of clustering formulations

Pranjal Awasthi, Afonso S. Bandeira+4 more|arXiv (Cornell University)|Aug 18, 2014

Sparse and Compressive Sensing Techniques参考文献 51被引用数 6

ひとこと要約

この論文は、k-meansおよびk-medianクラスタリングの凸緩和を分析し、k-median線形計画法（LP）が任意に小さい中心間隔（Δ > 2 + ε）でも正確にクラスタを回復できることを示している。一方、k-means LPはΔ ≥ 4のときのみクラスタを回復する。しかし、k-means LPに正定値（PSD）制約を追加することで、Δ > 2√2(1 + √(1/m))の範囲で正確な回復が可能となり、特定の凸緩和が丸め処理を経ずに整数かつ最適な解を直接得られることを示している。

ABSTRACT

We study exact recovery conditions for convex relaxations of point cloud clustering problems, focusing on two of the most common optimization problems for unsupervised clustering: $k$-means and $k$-median clustering. Motivations for focusing on convex relaxations are: (a) they come with a certificate of optimality, and (b) they are generic tools which are relatively parameter-free, not tailored to specific assumptions over the input. More precisely, we consider the distributional setting where there are $k$ clusters in $\mathbb{R}^m$ and data from each cluster consists of $n$ points sampled from a symmetric distribution within a ball of unit radius. We ask: what is the minimal separation distance between cluster centers needed for convex relaxations to exactly recover these $k$ clusters as the optimal integral solution? For the $k$-median linear programming relaxation we show a tight bound: exact recovery is obtained given arbitrarily small pairwise separation $ε> 0$ between the balls. In other words, the pairwise center separation is $Δ> 2+ε$. Under the same distributional model, the $k$-means LP relaxation fails to recover such clusters at separation as large as $Δ= 4$. Yet, if we enforce PSD constraints on the $k$-means LP, we get exact cluster recovery at center separation $Δ> 2\sqrt2(1+\sqrt{1/m})$. In contrast, common heuristics such as Lloyd's algorithm (a.k.a. the $k$-means algorithm) can fail to recover clusters in this setting; even with arbitrarily large cluster separation, k-means++ with overseeding by any constant factor fails with high probability at exact cluster recovery. To complement the theoretical analysis, we provide an experimental study of the recovery guarantees for these various methods, and discuss several open problems which these experiments suggest.

研究の動機と目的

• 凸緩和が真のクラスタを正確に回復する整数解を生成する条件を理解すること。
• 確率的モデルに基づくクラスタデータにおいて、k-median LP、k-means LP、k-means SDPといった異なる凸緩和の性能を比較すること。
• 従来の「緩和して丸める」パラダイムを回避し、凸緩和が直接整数かつ最適な解を生成できるかどうかを検討すること。
• クラスタ中心間の幾何的分離度が、凸最適化による正確な回復を可能にする役割を分析すること。
• 同じ確率的モデル下で、Lloydのアルゴリズム や k-means++ といった標準的ヒューリスティクスが真のクラスタを回復する能力に限界があるかどうかを調査すること。

提案手法

• k-meansおよびk-medianクラスタリングを混合整数計画法として定式化し、それらの線形計画法（LP）緩和を検討する。
• 各クラスタがR^m内半径1の球から独立同分布（i.i.d.）に抽出されたn個の点から成る分布的モデル下で、k-median LP緩和を分析する。
• プライマル・デュアル技術とデュアル証明の構築を用いて、中心間隔が小さい場合のLP解の整数性を証明する。
• k-means問題に対する正定値（PSD）緩和を導入し、LPを強化し、正確な回復の保証を向上させる。
• k-means++、Lloydのアルゴリズム、および提案された緩和法を含む、さまざまな手法の回復性能を実験的に評価する。
• 解をk個の完全部分グラフをもつグラフの隣接行列として可視化することで、緩和がいつ正確なクラスタ回復を達成するかを解釈する。

実験結果

リサーチクエスチョン

• RQ1 k-median LP緩和は、丸め処理なしに、どのような幾何的条件下で植え付けられたクラスタを正確に回復するか？
• RQ2 k-means LP緩和は、なぜ中程度の分離度（例：Δ = 4）でもクラスタを回復できないのか？（凸であるにもかかわらず）
• RQ3 k-means LPにPSD制約を追加することで、整数性が向上し、より小さい中心間隔でも正確な回復が可能になるか？
• RQ4 同じ確率的モデル下で、Lloydのアルゴリズム や k-means++ といった標準的ヒューリスティクスは、凸緩和と比べて正確な回復においてどの程度の性能を示すか？
• RQ5 i.i.d.球モデルからの逸脱、例えばクラスタの重複やガウス混合モデルに対しても、凸緩和における整数性の現象は頑健か？

主な発見

• k-median LP緩和は、クラスタ数kにかかわらず、中心間隔Δ > 2 + εであれば、高確率で植え付けられたクラスタを正確に回復する。
• k-means LP緩和は、Δ = 4であっても真のクラスタを回復できないため、追加制約がなければこの緩和には根本的な限界があることが示された。
• k-means SDP緩和は、中心間隔Δ > 2√2(1 + √(1/m))を満たす場合に正確な回復を達成でき、クラスタあたりの点数に必要な下限を明確に示している。
• Lloydのアルゴリズムおよびoverseedingを用いたk-means++は、同じモデル下で任意に大きな分離度であっても、高確率で真のクラスタを回復できない。
• k-median LP緩和は、データが単一の等方的分布からi.i.d.に抽出されても、高確率で整数解を保つため、植え付けクラスタ設定を超えた頑健性を示している。
• 理論的および実験的結果から、k-median LPはk-means LPに比べて整数性を達成する点ではるかに優れており、正確な回復タスクにおいて顕著な利点を有することが示された。