[論文レビュー] PECOK: a convex optimization approach to variable clustering

Florentina Bunea, Christophe Giraud+2 more|arXiv (Cornell University)|Jun 16, 2016

Bayesian Methods and Mixture Models参考文献 16被引用数 13

ひとこと要約

PECOK は、G-潜在モデル下での近似ミニマックス最適なクラスタ回復を達成するための凸最適化フレームワークであり、K-means を改善したものである。半定値計画法を用いることで、クラスタ数が未知であっても、最小化下限に一致する分離レートで真のクラスタを一貫して回復可能である。

ABSTRACT

The problem of variable clustering is that of grouping similar components of a $p$-dimensional vector $X=(X_{1},\ldots,X_{p})$, and estimating these groups from $n$ independent copies of $X$. When cluster similarity is defined via $G$-latent models, in which groups of $X$-variables have a common latent generator, and groups are relative to a partition $G$ of the index set $\{1, \ldots, p\}$, the most natural clustering strategy is $K$-means. We explain why this strategy cannot lead to perfect cluster recovery and offer a correction, based on semi-definite programing, that can be viewed as a penalized convex relaxation of $K$-means (PECOK). We introduce a cluster separation measure tailored to $G$-latent models, and derive its minimax lower bound for perfect cluster recovery. The clusters estimated by PECOK are shown to recover $G$ at a near minimax optimal cluster separation rate, a result that holds true even if $K$, the number of clusters, is estimated adaptively from the data. We compare PECOK with appropriate corrections of spectral clustering-type procedures, and show that the former outperforms the latter for perfect cluster recovery of minimally separated clusters.

研究の動機と目的

• G-潜在モデル下で、共有される潜在生成子に基づく類似性が定義される状況において、K-means が完全なクラスタ回復を達成できないという限界を克服すること。
• 半定値計画法による K-means の凸緩和を構築し、一貫性があり最適なクラスタ推定を可能にすること。
• G-潜在モデルに特化したミニマックス最適なクラスタ分離レートを確立し、回復の理論的保証を提供すること。
• PECOK をスペクトルクラスタリング型手法と比較し、最小分離クラスタの回復において優位性を示すこと。

提案手法

• PECOK は、非凸な K-means 目的関数を凸最適化問題に緩和することで、変数クラスタリングをペナルティ付き半定値計画問題として定式化する。
• G-潜在モデル下での共分散行列のブロック構造を活用し、同じグループに属する変数が共通の潜在成分を持つことを利用する。
• この方法は、K-means 目的関数の凸緩和を解くことでクラスタ割り当てを推定し、変換された共分散行列の固有ベクトルを用いる。
• クラスタ間の潜在成分の距離を定量化する、正規化されたグループ内・グループ間共分散ギャップに基づくクラスタ分離メトリック Δ(C) を導入する。
• 対角成分を除去した標本共分散行列の主要固有ベクトルに対して回転不変クラスタリング手順を適用する。
• 理論的分析には、Davis-Kahan 不等式と集中不等式を用い、固有ベクトルの摂動を制御し、高確率での誤差バインディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 G-潜在モデル下で、K-means の凸緩和は近似ミニマックス最適なクラスタ回復を達成できるか？
• RQ2 G-潜在モデルにおけるクラスタ分離のミニマックス最適レートは何か？ そして、データ駆動型手法によって達成可能か？
• RQ3 最小分離状況下で、PECOK はスペクトルクラスタリング型手続きと比較して、完全なクラスタ回復において優れているか？
• RQ4 クラスタ数が未知であり、データから適応的に推定される場合でも、PECOK は最適な性能を維持できるか？
• RQ5 提案された分離メトリック Δ(C) は、意味的で統計的に解釈可能なクラスタの明確さの指標として機能できるか？

主な発見

• PECOK は、Δ(C) の分離レートがミニマックス下限に一致する（対数要因を除いて）近似ミニマックス最適なクラスタ回復を達成する。
• 真のパーティション G は、(log p / n)^(1/2) のオーダーで回復され、これは G-潜在モデルにおいてミニマックス最適である。
• 特に高次元設定下で、最小分離クラスタの回復において、補正済みスペクトルクラスタリング手法を上回る性能を示す。
• クラスタ数 K がデータから適応的に推定される場合でも、PECOK は近似最適な性能を維持する。
• 分離 Δ(C) が Δ(C) ≥ c (log p / n)^(1/2) （ある定数 c に対して）を満たす限り、理論的保証は高確率で成立する。
• K-means に内在する局所最適解を避けるための凸緩和により、クラスタ構造の一貫した推定が保証される。