[論文レビュー] Scalable Kernel K-Means Clustering with Nystrom Approximation: Relative-Error Bounds

Shusen Wang, Alex Gittens+1 more|arXiv (Cornell University)|Jun 9, 2017

Sparse and Compressive Sensing Techniques参考文献 86被引用数 13

ひとこと要約

本稿では、理論的相対誤差バインディングを備えたNyström近似を用いたスケーラブルなカーネルk-meansクラスタリング手法を提案する。$rac{k}{ epsilon}(1+o(1))$ 個の特徴量を用いたランク制限付きNyström近似により、最適なカーネルk-means目的関数に対して $1+\epsilon$ の近似比が達成可能であり、MNIST8M などの大規模データセット上での非線形クラスタリングを効率的かつ理論的に妥当に実現可能である。

ABSTRACT

Kernel $k$-means clustering can correctly identify and extract a far more varied collection of cluster structures than the linear $k$-means clustering algorithm. However, kernel $k$-means clustering is computationally expensive when the non-linear feature map is high-dimensional and there are many input points. Kernel approximation, e.g., the Nyström method, has been applied in previous works to approximately solve kernel learning problems when both of the above conditions are present. This work analyzes the application of this paradigm to kernel $k$-means clustering, and shows that applying the linear $k$-means clustering algorithm to $\frac{k}ε (1 + o(1))$ features constructed using a so-called rank-restricted Nyström approximation results in cluster assignments that satisfy a $1 + ε$ approximation ratio in terms of the kernel $k$-means cost function, relative to the guarantee provided by the same algorithm without the use of the Nyström method. As part of the analysis, this work establishes a novel $1 + ε$ relative-error trace norm guarantee for low-rank approximation using the rank-restricted Nyström approximation. Empirical evaluations on the $8.1$ million instance MNIST8M dataset demonstrate the scalability and usefulness of kernel $k$-means clustering with Nyström approximation. This work argues that spectral clustering using Nyström approximation---a popular and computationally efficient, but theoretically unsound approach to non-linear clustering---should be replaced with the efficient and theoretically sound combination of kernel $k$-means clustering with Nyström approximation. The superior performance of the latter approach is empirically verified.

研究の動機と目的

• 高次元の非線形特徴マップを伴う大規模データセットに対して、スケーラブルで理論的根拠を持つカーネルk-meansクラスタリングのアプローチを開発すること。
• 計算コストを低減するためにNyström近似を用いる場合のカーネルk-meansクラスタリングに対する相対誤差保証を確立すること。
• 経験的に有効ではあるが理論的根拠に欠けるスペクトラルクラスタリングをNyströmで置き換える代わりに、より原理的根拠を持つカーネルk-means + Nyströmフレームワークを提案すること。
• MNIST8M などの大規模データセット上で、本手法のスケーラビリティと経験的優位性を実証すること。

提案手法

• 本手法は、$\frac{k}{\epsilon}(1+o(1))$ 個のランドマークポイントを用いて、カーネル行列の低ランク近似をNyström近似により構築する。
• ランク制限付きNyström近似を用いることで、カーネル行列の低ランク近似に対する $1+\epsilon$ の相対誤差トレースノルム保証を確保する。
• その後、Nyström近似から得られる $\frac{k}{\epsilon}(1+o(1))$ 次元の特徴ベクトルに対して線形k-meansクラスタリングを適用する。
• 理論的分析により、得られるクラスタ割り当てが最適なカーネルk-means目的関数に対して $1+\epsilon$ の近似比を達成することが示される。
• 本フレームワークはカーネルトリックを活用することで、高次元の非線形特徴の明示的計算を回避し、計算効率を維持する。
• 特定の近似品質に関する仮定の下で、射影コスト保存性とトレースノルム近似保証を用いて理論的バインディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 Nyström近似を用いることで、カーネルk-meansクラスタリングをスケーリング可能にしながらも、理論的近似保証を維持できるか？
• RQ2 カーネルk-meansクラスタリングにおいて $1+\epsilon$ の近似比を達成するためには、どの程度のランドマークポイント数が必要か？
• RQ3 提案手法のカーネルk-means + Nyströmは、スペクトラルクラスタリング + Nyström と比較して、理論的整合性と経験的性能の両面で優れているか？
• RQ4 MNIST8M などの大規模データセット上でも、計算コストを大幅に削減しながら高い精度を維持できるか？

主な発見

• ランク制限付きNyström近似から得られる $\frac{k}{\epsilon}(1+o(1))$ 個の特徴量を用いることで、最適なカーネルk-means目的関数に対して $1+\epsilon$ の近似比が達成される。
• ランク制限付きNyström手法を用いた低ランク近似に対して、$1+\epsilon$ の相対誤差トレースノルム保証が新たに確立された。
• 810万点のMNIST8Mデータセットにおける経験的評価により、本手法のスケーラビリティとスペクトラルクラスタリング + Nyström に対する優れた性能が確認された。
• 本手法は、人気は高いが理論的根拠に欠けるスペクトラルクラスタリング + Nyström の理論的に妥当な代替手法を提供する。
• 理論的分析により、カーネル行列に対するややきつい仮定のもとで、Nyström近似がクラスタリング目的関数を $1+\epsilon$ 要因の範囲に保つことが示された。
• 特に球形でないクラスタ構造を有するデータに対して、クラスタリング精度と理論的信頼性の両面で、スペクトラルクラスタリング + Nyström を上回る性能を示した。