[論文レビュー] On Robustness of Kernel Clustering

Bowei Yan, Purnamrita Sarkar|arXiv (Cornell University)|Jun 6, 2016

Sparse and Compressive Sensing Techniques参考文献 3被引用数 4

ひとこと要約

本稿は、任意の外れ値を伴う高次元混合モデル下で理論的整合性と頑健性を確立する、カーネルクラスタリングの半定値計画法（SDP）緩和を提案する。SDPは外れ値なしでは強い整合性（正確な回復）を達成し、外れ値ありでも弱い整合性（誤分類率の消失）を示し、K-SVDより頑健性と収束速度で優れる。

ABSTRACT

Clustering is one of the most important unsupervised problems in machine learning and statistics. Among many existing algorithms, kernel k-means has drawn much research attention due to its ability to find non-linear cluster boundaries and its inherent simplicity. There are two main approaches for kernel k-means: SVD of the kernel matrix and convex relaxations. Despite the attention kernel clustering has received both from theoretical and applied quarters, not much is known about robustness of the methods. In this paper we first introduce a semidefinite programming relaxation for the kernel clustering problem, then prove that under a suitable model specification, both the K-SVD and SDP approaches are consistent in the limit, albeit SDP is strongly consistent, i.e. achieves exact recovery, whereas K-SVD is weakly consistent, i.e. the fraction of misclassified nodes vanish.

研究の動機と目的

• 高次元データにおける任意の外れ値下でのカーネルクラスタリング手法—特にK-SVDとSDP—の頑健性を調査すること。
• クラスタ中心が明確に分離されたサブガウス混合モデル下で、K-SVDおよびSDPの理論的整合性保証を確立すること。
• 特に誤分類率と収束行動の観点から、K-SVDとSDPの外れ値に対する耐性を比較すること。
• 理論と実験を通じて、SDPがK-SVDよりも優れていることを示し、特に外れ値の数がインライヤーに比べてゆっくり増加する場合に顕著である。

提案手法

• カーネル行列上の凸最適化問題として定式化された、カーネルクラスタリングのための新規な半定値計画法（SDP）緩和を提案する。
• $ r $ 個の等サイズのインライヤークラスタと $ m $ 個の任意の外れ値を伴うサブガウス混合モデルから導出される低ランクカーネル行列を用いる。
• 固有ベクトルの真のクラスタ構造からのずれを制限するために、スペクトル摂動理論と確率的行列理論を適用する。
• カーネル行列の $ r $ 番目と $ (r+1) $ 番目の固有値の差（ギャップ）を用いて、誤分類ノードの誤差バウンドを導出する。
• 実用的なSDPの解法として、交替方向乗数法（ADMM）を採用し、スケーラブルな実装を可能にする。
• クラスタラベルのアンビギュイティを解消するために、ラベル順列探索を用いてインライヤーの正確性を比較する。

実験結果

リサーチクエスチョン

• RQ1 サブガウス混合モデル下で、カーネルクラスタリングのSDP緩和は、整合性および誤差バウンドの観点でどのように振る舞うか？
• RQ2 外れ値が存在する場合、K-SVDの整合性および誤分類率はどのように変化するか？
• RQ3 外れ値の数が増加するに従い、SDP緩和はK-SVDアプローチよりも外れ値に対してより頑健であるか？
• RQ4 誤分類誤差は、最小クラスタ分離度、クラスタ数、および外れ値数にどのように依存するか？
• RQ5 スペクトル摂動理論から導出された理論的誤差バウンドは、有限標本における実験的性能を正確に予測できるか？

主な発見

• SDP緩和は強い整合性を達成する：外れ値のないモデル下で $ n \to \infty $ のとき、誤分類ノード数は高確率で消失する。
• K-SVDは弱い整合性を示す：誤分類ノードの割合は高確率で消失するが、誤分類ノード数自体はゼロに収束しない可能性がある。
• 任意の外れ値が存在する場合、$ m = o(n) $ であれば両手法とも弱い整合性を示すが、SDPは著しく低い誤分類誤差を示す。
• K-SVDの理論的誤差バウンドは $ O_P\left(\max\left\{\frac{mn^2}{r(\lambda_r - \lambda_{r+1})^2}, \frac{n^3 \log p}{rp(\lambda_r - \lambda_{r+1})^2}\right\} \right) $ と表され、外れ値数とクラスタ分離度に敏感であることが示唆される。
• SDPはK-SVDよりも外れ値に対してより耐性がある：実験結果では、外れ値数が増加してもSDPは高いインライヤー正確性を維持するが、他の手法は性能を低下させる。
• シミュレーションでは、クラスタ分離度が増加するに従い、SDPはK-SVDよりも速く収束し、ばらつきも小さいことが確認され、理論的予測を裏付けた。