[論文レビュー] On the tightness of an SDP relaxation of k-means

Takayuki Iguchi, Dustin G. Mixon+2 more|arXiv (Cornell University)|May 18, 2015

Sparse and Compressive Sensing Techniques参考文献 12被引用数 21

ひとこと要約

本稿では、k-meansクラスタリング問題のSDP緩和が、中心間距離が2より大きく、中心配置の条件数および問題次元に依存する余裕をもって超過する場合、確率的に高い確率で埋め込まれたクラスタを正確に回復することを確立している。この結果は、近似的に最良の分離条件下でのSDP緩和のタイトネスを証明し、先行研究の境界を上回り、以前の研究で提起された予想を裏付けている。

ABSTRACT

Recently, Awasthi et al. introduced an SDP relaxation of the $k$-means problem in $\mathbb R^m$. In this work, we consider a random model for the data points in which $k$ balls of unit radius are deterministically distributed throughout $\mathbb R^m$, and then in each ball, $n$ points are drawn according to a common rotationally invariant probability distribution. For any fixed ball configuration and probability distribution, we prove that the SDP relaxation of the $k$-means problem exactly recovers these planted clusters with probability $1-e^{-Ω(n)}$ provided the distance between any two of the ball centers is $>2+ε$, where $ε$ is an explicit function of the configuration of the ball centers, and can be arbitrarily small when $m$ is large.

研究の動機と目的

• 確率的ボールモデル下でのk-means問題のSDP緩和に対する正確回復保証を確立すること。
• 既知の十分条件としての分離条件と、正確回復の最適閾値Δ > 2に対する予想された最適閾値の間のギャップを埋めること。
• 近的最良のクラスタ分離条件下で整数性が保証される双対証明の構築を提供すること。
• クラスタ中心配置の条件数および次元が回復閾値に与える影響を分析すること。

提案手法

• 著者らは、真のクラスタ割り当てがSDP緩和において最適であることを確認するため、双対証明のアプローチを用いる。
• KKT条件を満たす双対行列を構築し、高次元における確率的ベクトルの集中不等式に依存する。
• 残差行列のスペクトルノルムを抑え、クラスタ間およびクラスタ内距離に関連するブロック部分行列の最小固有値を分析する。
• 主な技術的ツールには、回転対称分布に対する測度の集中および行列摂動の境界が含まれる。
• 解析は、R^m内に固定されたk個の中心の周囲に独立同分布の点が生成される確率的ボールモデルに依存する。
• 全クラスタペアにわたる和集合バウンドを適用し、全体の構成において高確率的回復を保証する。

実験結果

リサーチクエスチョン

• RQ1 確率的ボールモデル下で、k-meansのSDP緩和がどの分離条件下で真のクラスタを正確に回復するか？
• RQ2 中心間距離が2に限りなく近い場合、SDP緩和は正確回復を達成できるか？
• RQ3 クラスタ中心配置の条件数が正確回復に必要な分離にどのように影響するか？
• RQ4 以前の研究で提起されたように、近的最良の分離条件下でSDP緩和はタイトか？

主な発見

• 最小中心間距離Δ > 2 + (k²/m)Cond(γ)のとき、確率1 - e^(-Ω(n))でSDP緩和が埋め込まれたクラスタを正確に回復する。ここで、Cond(γ)は中心間の最大二乗距離と最小二乗距離の比である。
• 次元mが増加するにつれて、境界はΔ > 2に近づき、高次元設定下での近的最良の回復を示している。
• 本結果は、[3]で提起された予想を裏付け、条件数が有界であればΔ > 2のとき正確回復が可能であることを確認している。
• 解析により、必要な分離ギャップがk²/mおよび条件数に比例することが示され、クラスタの幾何的構造が回復性能に顕著に影響することが判明した。
• 証明は、回転対称点群における測度の集中の高確率的成立に依存する双対証明の存在に依存している。