[論文レビュー] A Semi-Definite Programming approach to low dimensional embedding for unsupervised clustering

Stéphane Chrétien, Clément Dombry+1 more|arXiv (Cornell University)|Jun 29, 2016

Bayesian Methods and Mixture Models参考文献 16被引用数 6

ひとこと要約

本稿では、ガウス混合モデルにおけるクラスタ行列の推定に半定値計画法（SDP）を用いる手法を提案する。これにより、スペクトル分解を介したクラスタリング指向の低次元埋め込みが可能になる。本手法はペアワイズ距離のみを用い、高次元性に対してもロバストであり、集中不等式およびグロテンディックの不等式を用いた理論的保証を提供する。従来の埋め込み手法に比べ、クラスタリングの効率性とスパarsityの保持において優れる。

ABSTRACT

This paper proposes a variant of the method of Guédon and Verhynin for estimating the cluster matrix in the Mixture of Gaussians framework via Semi-Definite Programming. A clustering oriented embedding is deduced from this estimate. The procedure is suitable for very high dimensional data because it is based on pairwise distances only. Theoretical garantees are provided and an eigenvalue optimisation approach is proposed for computing the embedding. The performance of the method is illustrated via Monte Carlo experiements and comparisons with other embeddings from the literature.

研究の動機と目的

• 距離の保存よりもクラスタ分離を重視する、低次元埋め込みに基づくロバストで高次元なクラスタリング手法の開発。
• ガウス混合モデルの枠組みにおいて、1と0でクラスタ所属を定義するクラスタ行列を、半定値計画法を用いて推定すること。
• 集中不等式およびグロテンディックの不等式を用いて、SDP推定量の理論的保証を提供すること。
• 得られた埋め込みが、クラスタ内点の集中とクラスタ間点の分離を促進することで、クラスタリング性能を向上させることを示すこと。
• 大数の法則に従い、次元を増加させることで推定量のロバスト性が向上し、低次元のフラクチュエーションへの感受性が低下することを示すこと。

提案手法

• クラスタ行列推定を、クラスタ行列のランクとスパarsityの凸緩和を最小化する半定値計画問題（SDP）として定式化する。
• 高次元サンプリング下での経験的アフィニティ行列とその期待値との乖離を、ガウスの集中不等式で制限する。
• 推定行列が正定値かつ単位対角成分を持つ制約の下でSDP解を導出する。これにより、行列がグロテンディック行列集合に含まれることが保証される。
• 最終的な埋め込みは、推定されたクラスタ行列のスペクトル分解により得られる。ここで固有ベクトルがデータポイントの低次元表現を表す。
• 全共分散推定が不可能な非常に高次元のデータに適した、ペアワイズ距離のみを入力とする。
• フル行列の逆行列計算や反復的最適化を回避するため、効率的な固有値最適化手順を提案する。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズ距離のみを用いて、ガウス混合モデルの枠組みで半定値計画法を用いてクラスタ行列を信頼性高く推定できるか？
• RQ2 得られた埋め込みは、距離保存型埋め込みと比較して、クラスタ内凝集性の向上とクラスタ間分離性の強化により、クラスタリング性能を向上させるか？
• RQ3 特に大数の法則に従う場合、推定量のロバスト性は次元の増加とともにどのように変化するか？
• RQ4 モンテカルロシミュレーションにおいて、スペクトルクラスタリングやDiffusion Mapsなどの既存手法に比べ、SDPベースの埋め込みはどの程度優れているか？
• RQ5 集中不等式およびグロテンディックの不等式を用いて、推定誤差の理論的バインディングを確立できるか？

主な発見

• SDPによるクラスタ行列推定量は、確率的ブロックモデルと同程度の推定誤差バインディングを達成しており、理論的整合性が裏付けられる。
• モンテカルロ実験の結果、次元が50から450に増加するに従い、アフィニティ行列のスパarsityが10–20%向上する。
• 本手法は高次元性に対してロバストである。次元が増加するにつれ、アフィニティ行列は決定的極限に収束し、低次元のフラクチュエーションへの感受性が低下する。
• 推定されたクラスタ行列のスペクトル分解による埋め込みは、幾何的距離の保存を重視する従来の埋め込みと比較して、クラスタ構造の強調によりクラスタリングタスクで優れる。
• p = 0.05 の l^p 準ノルム最小化の使用により、アフィニティ行列のスパarsityが向上し、相対誤差ヒストограмムが次元にかかわらず一貫した収束を示す。
• 理論的解析により、ガウス混合モデル下で推定量が一貫性を示すことが確認され、集中不等式により経験的アフィニティ行列の乖離バインディングがきつくなることが保証される。