[論文レビュー] Stochastic Dimensionality Reduction for K-means Clustering

Christos Boutsidis, Anastasios Zouzias+2 more|arXiv (Cornell University)|Oct 13, 2011

Face and Expression Recognition参考文献 25被引用数 14

ひとこと要約

本稿では、k-meansクラスタリングにおける最初の証明可能に正確な特徴選択手法を提示するとともに、ランダムプロジェクションおよび高速な近似SVDに基づく2つの新しいランダム化特徴抽出技術を提案する。3つの手法すべてが、定数倍の近似保証を定数確率で達成し、従来の手法に比べて理論的正確性と効率性の両方を向上させている。

ABSTRACT

We study the topic of dimensionality reduction methods for k-means clustering. Dimensionality reduction encompasses the union of two approaches; feature selection and feature extraction. First, feature selection selects a small subset of actual features from the data and then runs the clustering algorithm only on the selected features. Second, feature extraction constructs a small set of new artificial features and then runs the clustering algorithm only on the constructed features. Despite the significance of the problem as well as the wealth of heuristic methods addressing it there exist no provably accurate feature selection methods. On the other hand, two provably accurate feature extraction methods for k-means exist: the first one is randomized and is based on Random Projections; the other, is deterministic and it is based on the Singular Value Decomposition. This paper addresses this shortcoming by presenting the first provably accurate feature selection method for k-means clustering. We also present two novel feature extraction methods: the first one is based on Random Projections and improves the existing result in terms of speed and number of features needed to be extracted; the other is based on fast approximate SVD factorizations and improves the existing result in terms of speed. All three methods of our work are randomized and, with constant probability, provide constant-factor approximation guarantees with respect to the optimal k-means objective value.

研究の動機と目的

• k-meansクラスタリングにおける証明可能に正確な特徴選択手法の欠如に取り組むが、ヒューリスティック手法や理論的手法は既に存在する。
• クラスタリング品質に関する理論的保証を提供するランダム化された特徴選択および特徴抽出手法を開発する。
• 計算速度および定数倍の近似を達成するのに必要な特徴数の観点から、既存の特徴抽出手法を改善する。
• k-meansクラスタリングに対して強い近似保証を維持するランダム化次元削減手法の統一フレームワークを確立する。
• k-meansクラスタリングにおけるヒューリスティックな特徴選択と証明可能に正確な特徴抽出の間の理論的ギャップを埋める。

提案手法

• データ構造に基づく確率分布を用いて元の特徴のサブセットを選択するランダム化特徴選択手法を提案し、最適なk-means目的関数に対して定数倍の近似を保証する。
• 次元削減を実現しながらクラスタ構造を保持する、新しいランダムプロジェクションに基づく特徴抽出手法を導入し、従来のランダム化アプローチに比べて速度向上と必要な特徴数の削減を実現する。
• 高速な近似SVDに基づく特徴抽出技術を開発し、計算を加速させながらも理論的近似保証を維持する。
• 定数確率で、結果として得られるk-means目的関数値が最適解の定数倍以内に収まるランダム化次元削減手法を採用する。
• 理論的解析と確率的サンプリングを組み合わせて、近似品質の境界を導出する。集中不等式およびスペクトル特性を活用する。
• 2段階のプロセスを用いる：まず、ランダムプロジェクションまたはSVDによる次元削減；次に、理論的性能保証を伴う低次元空間でのk-meansクラスタリング。

実験結果

リサーチクエスチョン

• RQ1 k-meansクラスタリングにおける証明可能に正確な特徴選択手法を設計可能か。これは、理論的保証の面で重要な空白を埋める。
• RQ2 ランダム化特徴抽出手法を、速度および特徴数の削減の観点から改善可能か。ただし、定数倍の近似保証は維持する。
• RQ3 提案手法は、既存のアプローチと比較して、計算効率とクラスタリング精度のトレードオフをどのように改善するか。
• RQ4 特徴選択と特徴抽出を、強い理論的性能保証を持つ単一のランダム化フレームワークで統合可能か。

主な発見

• 提案された特徴選択手法は、k-meansクラスタリングにおける最初の証明可能に正確な定数倍近似保証を提供するものであり、長年の理論的ギャップを解消した。
• ランダムプロジェクションに基づく特徴抽出手法は、必要な特徴数を削減し、既存のランダム化手法に比べて実行時間を改善する。
• 高速な近似SVDに基づく手法は、従来のSVDベースの抽出よりも計算を高速化しながらも、同じ理論的近似品質を維持する。
• 特徴選択および2つの特徴抽出手法を含む、3つの提案手法すべてが、定数確率で最適k-means目的関数の定数倍近似を達成する。
• 理論的解析により、顕著な次元削減後でもクラスタリング品質が維持されることを確認し、強靭性とスケーラビリティを保証する。