[論文レビュー] Random Projections for $k$-means Clustering

Christos Boutsidis, Anastasios Zouzias+1 more|arXiv (Cornell University)|Nov 21, 2010

Face and Expression Recognition参考文献 21被引用数 79

ひとこと要約

本論文は、k-平均値クラスタリングのための高速なランダム射影法を提案する。この手法は、ランダムな符号行列 R を用いて次元を d から t = Ω(k/ε²) に低次元化し、高い確率でクラスタリングの質を 2+ε の近似要因内に保つ。実行時間は O(nd⌈ε⁻²k/log(d)⌉) であり、SVD や他の手法と比較して顕著な高速化を実現しながら、クラスタリング精度に関する強い理論的保証を維持する。

ABSTRACT

This paper discusses the topic of dimensionality reduction for $k$-means clustering. We prove that any set of $n$ points in $d$ dimensions (rows in a matrix $A \in \RR^{n imes d}$) can be projected into $t = Ω(k / \eps^2)$ dimensions, for any $\eps \in (0,1/3)$, in $O(n d \lceil \eps^{-2} k/ \log(d) ceil )$ time, such that with constant probability the optimal $k$-partition of the point set is preserved within a factor of $2+\eps$. The projection is done by post-multiplying $A$ with a $d imes t$ random matrix $R$ having entries $+1/\sqrt{t}$ or $-1/\sqrt{t}$ with equal probability. A numerical implementation of our technique and experiments on a large face images dataset verify the speed and the accuracy of our theoretical results.

研究の動機と目的

• 計算的に効率的でかつ理論的に保証可能な k-平均値クラスタリングの次元削減技術を開発すること。
• ランダム射影を用いて高次元データ上の k-平均値クラスタリングの計算コストを低減し、点を低次元空間に射影すること。
• 射影後に最適な k-分割が 2+ε 因数内に保たれることを理論的に保証すること。
• SVD や特徴選択などの既存手法と比較して、実行時間と埋め込み次元において優れた性能を発揮しながら、競争力のある精度を維持すること。
• 高次元データ環境下での大規模 k-平均値クラスタリングに実用的かつスケーラブルなソリューションを提供すること。

提案手法

• 本手法は、各要素が等確率で ±1/√t をとる d×t のランダム行列 R を用いて、n×d のデータ行列 A を t = Ω(k/ε²) 次元に後乗算することで射影する。
• 射影により、k-平均値クラスタリング構造が定数確率で 2+ε 因数内に保たれることを、集中不等式および Johnson-Lindenstrauss 型の議論により証明する。
• アルゴリズムの実行時間は O(nd⌈ε⁻²k/log(d)⌉) であり、高速な行列積の技術を活用し、明示的な SVD 計算を回避する。
• 実装上はマイルマンアルゴリズムを用いて行列-ベクトル積を実行するが、実験的結果では行列-行列積において直接的な MatLab 乗算 (MM1) が実用上優れている。
• 本手法は、大規模な顔画像データセット上で、SVD、LLE、ラプラシアンスコア、および高次元 k-平均値クラスタリングと比較して評価された。
• 理論的分析により、SVD を用いた手法と比較して実行時間を min{n,d}⌈ε²log(d)/k⌉ 倍短縮でき、標準的なランダム射影と比較して埋め込み次元を log(n)/k 倍低減できることが示された。

実験結果

リサーチクエスチョン

• RQ1 ランダム射影により、次元を O(k/ε²) に低減した場合に、k-平均値クラスタリング構造が定数因子 2+ε 内に保たれるか。
• RQ2 ランダム射影を用いることで、SVD を用いた手法よりも高速な k-平均値クラスタリングの実行時間が達成可能か。
• RQ3 実世界のデータにおいて、LLE やラプラシアンスコアなどの他の次元削減技術と比較して、本手法の精度と速度はどのように異なるか。
• RQ4 大規模かつ高次元のデータセットにおいて、理論的保証である 2+ε 近似が実際の状況でも成立するか。
• RQ5 実用的な行列積戦略の最適化によって、ランダム射影の計算コストをさらに低減可能か。

主な発見

• 提案されたランダム射影手法は、t = Ω(k/ε²) 次元に射影した場合に、定数確率で最適な k-平均値クラスタリングの 2+ε 近似を達成する。
• アルゴリズムの実行時間は O(nd⌈ε⁻²k/log(d)⌉) であり、SVD を用いた手法が要する O(nd min{n,d}) 時間と比較して顕著に高速である。
• 大規模な顔画像データセットにおいて、本手法は 90% の高速化を達成した：全時間 1.1 秒（射影 0.1 秒、クラスタリング 1.0 秒）であり、元の次元での処理時間 10 秒と比較して顕著に短縮された。
• t=50 の場合、本手法は SVD (F=0.0269) や LLE (F=0.0258) よりも優れた目的関数値 (F=0.0234) を達成しており、一部の状況でより優れたクラスタリング品質を示した。
• 標準的なランダム射影と比較して、埋め込み次元を log(n)/k 倍低減しながらも、2+ε 近似保証を維持した。
• 実験的結果から、SVD (5.9s) や LLE (4.4s)、ラプラシアンスコア (0.32s) と比較して本手法は高速であり、テスト環境では SVD に対して 10 倍の高速化を達成した。