[論文レビュー] Scalable Kernel Clustering: Approximate Kernel k-means

Radha Chitta, Rong Jin+2 more|arXiv (Cornell University)|Feb 16, 2014

Face and Expression Recognition参考文献 47被引用数 18

ひとこと要約

本稿では、近似カーネルk-means（aKKm）を提案する。これは、カーネル行列をランダムサンプリングによって近似し、少数のサンプル点が張る低次元部分空間にクラスタ中心を制限することで、スケーラブルなカーネルクラスタリング手法である。この手法は、フルカーネルk-meansと同等のクラスタリング性能を達成しつつ、時間的・記憶容量的コストを顕著に削減する。さらに、アンサンブルクラスタリング技術を用いることで、精度を向上させる。

ABSTRACT

Kernel-based clustering algorithms have the ability to capture the non-linear structure in real world data. Among various kernel-based clustering algorithms, kernel k-means has gained popularity due to its simple iterative nature and ease of implementation. However, its run-time complexity and memory footprint increase quadratically in terms of the size of the data set, and hence, large data sets cannot be clustered efficiently. In this paper, we propose an approximation scheme based on randomization, called the Approximate Kernel k-means. We approximate the cluster centers using the kernel similarity between a few sampled points and all the points in the data set. We show that the proposed method achieves better clustering performance than the traditional low rank kernel approximation based clustering schemes. We also demonstrate that its running time and memory requirements are significantly lower than those of kernel k-means, with only a small reduction in the clustering quality on several public domain large data sets. We then employ ensemble clustering techniques to further enhance the performance of our algorithm.

研究の動機と目的

• 大規模データセットにおけるカーネルk-meansの2次時間的・記憶容量的複雑性を克服し、スケーラブルなカーネルベースクラスタリングを可能にすること。
• フルなn×nカーネル行列の計算を避けることで、クラスタリング品質を保持しつつ、効率的な近似スキームを構築すること。
• Nystromフレームワークにおける固有ベクトルの新規な使用法により、既存の低ランクカーネル近似手法を上回る性能を達成すること。
• 近似カーネル手法とアンサンブルクラスタリング技術を統合することで、クラスタリング精度を向上させること。
• ナードルNystrom法よりもタイトなカーネル近似誤差の理論的境界を提供すること。

提案手法

• m ≪ n 個のデータ点をランダムにサンプリングし、それらの点と全点との間のカーネル類似度を用いてn×mのカーネル行列を構築することで、記憶容量と計算量を削減する。
• クラスタ中心をm個のサンプル点が張る部分空間内に近似することで、フルカーネル行列の計算を回避する。
• 近似カーネル行列のすべての固有ベクトルを明示的に計算せずに利用することで、スペクトルクラスタリングの変種よりも精度を向上させる。
• カーネル行列のコherenCeとサンプリング分布の分析を通じて、よりタイトな理論的境界を導出し、カーネル近似誤差を制御する。
• 複数回の異なるランダムサンプルを用いた実行を繰り返し、メタクラスタリングにより結果を統合することでアンサンブルクラスタリングを適用し、耐性と性能を向上させる。
• 本手法はNystrom近似フレームワークに根ざしており、行列濃縮およびスペクトル近似理論に基づく理論的保証が得られている。

実験結果

リサーチクエスチョン

• RQ1 フルなカーネル行列を計算せずに、大規模データセットにスケーラブルに適応するカーネルk-meansの変種を設計可能か？
• RQ2 提案された近似スキームは、従来の低ランクカーネル近似手法と比較して、クラスタリング精度でどのように差をつけるか？
• RQ3 ナードルNystrom法よりも、カーネル近似誤差の理論的境界を改善可能か？
• RQ4 アンサンブルクラスタリング技術を統合することで、近似カーネルk-meansアルゴリズムの性能がさらに向上するか？
• RQ5 カーネルk-meansや他のスケーラブルな代替手法と比較して、提案手法における計算効率とクラスタリング品質のトレードオフはいかなるものか？

主な発見

• 提案されたaKKmアルゴリズムは、複数の公開大規模データセットにおいて、フルカーネルk-meansと同等のクラスタリング性能を達成しており、精度の低下はわずかである。
• 計算複雑性と記憶容量の使用量をO(n²)からO(nm)に削減し、m ≪ n であるため、大規模データセットにおいて顕著な高速化を実現する。
• 理論的分析により、カーネル近似誤差の境界がナードルNystrom法よりもタイトであることが示され、特にカーネル行列のコヒーレンスが低い場合に顕著である。
• 実験的結果から、aKKmはNystromベースのスペクトルクラスタリングを含む、他のスケーラブルなカーネルクラスタリング手法を上回るクラスタリング精度を示している。
• アンサンブルクラスタリング技術の統合により、ノイズが多いまたは複雑なデータ構造においても、aKKmの耐性と性能がさらに向上している。
• アルゴリズムは数万点のデータセットに対しても効果的にスケーリングでき、非線形クラスタ構造を保持しつつ、高い効率性を維持している。