[論文レビュー] The ratio-cut polytope and K-means clustering

Antonio De Rosa, Aida Khajavirad|arXiv (Cornell University)|Jun 26, 2020

Sparse and Compressive Sensing Techniques参考文献 21被引用数 5

ひとこと要約

本稿では、K-平均法クラスタリングのためのratio-cutベクトルの凸包として定義されるratio-cut多面体を導入し、K-平均法のための新しい線形計画法（LP）緩和を提案する。確率的ボールモデルにおいて、クラスタ中心間の分離距離が $\Delta > 1 + \sqrt{3}$ を満たす場合、このLP緩和は高確率で埋め込まれたクラスタを正確に回復することを証明している。これは、従来のLP緩和の $\Delta > 4$ という境界を著しく改善している。

ABSTRACT

We introduce the ratio-cut polytope defined as the convex hull of ratio-cut vectors corresponding to all partitions of $n$ points in $\mathbb R^m$ into at most $K$ clusters. This polytope is closely related to the convex hull of the feasible region of a number of clustering problems such as K-means clustering and spectral clustering. We study the facial structure of the ratio-cut polytope and derive several types of facet-defining inequalities. We then consider the problem of K-means clustering and introduce a novel linear programming (LP) relaxation for it. Subsequently, we focus on the case of two clusters and derive sufficient conditions under which the proposed LP relaxation recovers the underlying clusters exactly. Namely, we consider the stochastic ball model, a popular generative model for K-means clustering, and we show that if the separation distance between cluster centers satisfies $Δ> 1+\sqrt 3$, then the LP relaxation recovers the planted clusters with high probability. This is a major improvement over the only existing recovery guarantee for an LP relaxation of K-means clustering stating that recovery is possible with high probability if and only if $Δ> 4$. Our numerical experiments indicate that the proposed LP relaxation significantly outperforms a popular semidefinite programming relaxation in recovering the planted clusters.

研究の動機と目的

• n個の点が $\mathbb{R}^m$ に存在するすべてのK分割におけるratio-cutベクトルの凸包として定義されるratio-cut多面体の顔の構造を研究すること。
• 既存の凸緩和を改善するK-平均法クラスタリングのための新しい線形計画法（LP）緩和を開発すること。
• 提示されたLP緩和が、確率的ボールモデルにおいて真のクラスタを正確に回復する十分条件を確立すること。
• 数値実験を通じて、新しいLP緩和が一般的に用いられる半定値計画法（SDP）緩和を上回ることを示すこと。

提案手法

• n個の点が $\mathbb{R}^m$ に存在するすべてのK分割に対応するratio-cutベクトルの凸包としてratio-cut多面体を定義し、K-平均法およびスペクトルクラスタリング問題と関連付ける。
• ratio-cut多面体の顔の構造を特徴付けるために、複数種類の顔を定義する不等式を導出する。
• ratio-cut多面体の多面体的構造を活用して、K-平均法クラスタリングのための新しいLP緩和を提案する。
• 2クラスタの場合の解析を行い、確率的ボールモデル下で双対証明技術を用いて正確回復の十分条件を導出する。
• 分離距離 $\Delta > 1 + \sqrt{3}$ の場合に正確回復が高確率で成立することを証明し、従来のLP緩和の $\Delta > 4$ の境界を大幅に改善する。
• 提案されたLP緩和と標準的なSDP緩和を比較する数値実験を実施し、埋め込まれたクラスタの回復において優れた性能を示す。

実験結果

リサーチクエスチョン

• RQ1 ratio-cut多面体の顔の構造は何か？ また、顔を定義する不等式を用いてどのように特徴づけられるか？
• RQ2 ratio-cut多面体を用いてK-平均法クラスタリングのための新しいLP緩和を構築可能か？ また、既存の緩和よりも理論的保証が強いか？
• RQ3 確率的ボールモデルにおいて、提示されたLP緩和が埋め込まれたクラスタを正確に回復する条件は何か？
• RQ4 提案されたLP緩和の回復閾値 $\Delta$ は、既存のLPおよびSDP緩和と比較してどうなるか？
• RQ5 提案されたLP緩和は、合成データにおけるクラスタ回復の数値実験で、標準的な半定値計画法緩和を上回るか？

主な発見

• 提案されたK-平均法クラスタリングのためのLP緩和は、クラスタ中心間の分離距離が $\Delta > 1 + \sqrt{3}$ を満たす場合、高確率で埋め込まれたクラスタを正確に回復する。
• この回復閾値は、唯一の既存のLP緩和の保証（$\Delta > 4$）を著しく改善している。
• 本稿では、合成データ上での数値実験を通じて、新しいLP緩和が広く知られた半定値計画法緩和を上回ることを示している。
• 著者らは、ratio-cut多面体に対して包括的な顔を定義する不等式のクラスを導出し、その多面体的構造をより深く理解する手がかりを提供している。
• 理論的解析は、双対証明の構築に依拠しており、対称的配置における目的関数のバインドに幾何学的および三角関数的議論を用いている。
• 結果として、LP緩和がクラスタリングにおいて強力な回復保証を達成できることを示しており、この文脈においてSDP緩和の優位性を覆す可能性を示唆している。