[論文レビュー] Adaptive Clustering through Semidefinite Programming

Martin Royer|arXiv (Cornell University)|May 18, 2017

Bayesian Methods and Mixture Models参考文献 9被引用数 11

ひとこと要約

本稿では、柔軟な確率的モデルのもとで、真の分割を高確率で正確に回復できる、凸な半定値計画法に基づく推定器を提案する。この手法は高次元設定において最適であり、有効次元および未知のクラスタ数 $K$ に適応可能であり、ロバスト性と非漸近的性能保証を兼ね備えた罰則付き補正形式を組み込むことで、従来のK-means緩和法を改善する。

ABSTRACT

We analyze the clustering problem through a flexible probabilistic model that aims to identify an optimal partition on the sample X 1 , ..., X n. We perform exact clustering with high probability using a convex semidefinite estimator that interprets as a corrected, relaxed version of K-means. The estimator is analyzed through a non-asymptotic framework and showed to be optimal or near-optimal in recovering the partition. Furthermore, its performances are shown to be adaptive to the problem's effective dimension, as well as to K the unknown number of groups in this partition. We illustrate the method's performances in comparison to other classical clustering algorithms with numerical experiments on simulated data.

研究の動機と目的

• 真の分割を高確率で正確に回復できる、凸で罰則付きの半定値計画法推定器を用いた点クラスタリングの開発。
• 未知で変動するクラスタ構造を許容する柔軟な確率的モデルのもとでの推定器の分析。
• 高次元設定において最適または近似的に最適な非漸近的性能保証の確立。
• データの有効次元および未知のクラスタ数 $K$ に適応する手法の適応性の特定。
• 初期値やモデル不適合に敏感な古典的K-meansおよび確率的クラスタリング手法の代替としてのロバスト性の提供。

提案手法

• Peng & Wei (2012) にインspiredされ、Bunea et al. (2012) から適応された、K-means目的関数の補正された緩和に基づく罰則付き半定値計画を定式化する。
• クラスタリング問題の凸緩和を導入し、K-meansの補正された緩和版として解釈することで、凸性と実行可能性を保証する。
• 推定器は、データポイントが $(\tilde{\mathcal{G}}, \boldsymbol{\mu}, \delta)$-クラスタリングであり、分離パラメータ $\rho(\tilde{\mathcal{G}}, \boldsymbol{\mu}, \delta) > 4$ を満たすサブガウスシャンプル混合モデルのもとで分析される。
• ハズン＝ホワイトおよびサブガウスシャンプル二次形式の不等式を用いて、経験的グラム行列とその期待値との乖離を制御する非漸近的集中不等式を用いる。
• エpsilonネットの議論と行列集中を活用し、中心化された経験的グラム行列の作用素ノルムをバウンディングすることで、安定性と回復保証を確保する。
• 推定器は未知の $K$ および有効次元に対してロバストであり、データの本質的構造に応じて性能が適応する。

実験結果

リサーチクエスチョン

• RQ1 柔軟な確率的モデルのもとで、凸な半定値計画法の定式化が、高確率で正確なクラスタリング回復を達成できるか。
• RQ2 $p \gg n$ となる高次元設定において、提案された推定器はどのように性能を発揮するか。
• RQ3 この手法は、データの有効次元および未知のクラスタ数 $K$ にどの程度適応可能か。
• RQ4 罰則付き補正半定値緩和は、標準的なK-meansや他のクラスタリング手法に比べ、回復精度およびロバスト性の面で優れているか。
• RQ5 サブガウスシャンプルノイズ仮定のもとで、この推定器に非漸近的保証を確立できるか。

主な発見

• 提案された半定値推定器は、識別能 $\rho(\mathcal{G}, \boldsymbol{\mu}, \delta) > 4$ を満たす条件のもとで、高確率で正確なクラスタリング回復を達成する。
• 回復誤差の観点で、Mixon et al. (2016) らのK-meansの従来の半定値緩和法よりも優れている。
• 推定器はデータの有効次元に適応し、$p \gg n$ であっても強力な性能を維持する。
• クラスタ数 $K$ の事前知識がなくても、同じ確率的モデルのもとで正確な回復を達成する。
• エpsilonネットおよびハズン＝ホワイト技術を用いて、中心化されたグラム行列の作用素ノルムに対する非漸近的バウンディングが導出され、きめ細かい集中制御が可能になる。
• シミュレーテッドデータを用いた数値実験により、古典的クラスタリングアルゴリズムに比べて本手法の効率性とロバスト性が確認された。