[論文レビュー] Approximation and Streaming Algorithms for Projective Clustering via Random Projections

Michael Kerber, Sharath Raghvendra|arXiv (Cornell University)|Jul 8, 2014

Computational Geometry and Mesh Generation参考文献 33被引用数 7

ひとこと要約

本稿では、ランダム射影を用いた射影クラスタリングの近似およびストリーミングアルゴリズムを提示する。$\mathbb{R}^d$ 内の $n$ 個の点を、$O(((q+1)^2 \log((q+1)/\varepsilon)/\varepsilon^3)\log n)$ 次元の部分空間に射影することにより、すべての $k$ および $\rho$ に対して $\varepsilon$-近似を同時に達成する。主な貢献は、$O((n+d)((q+1)^2\log((q+1)/\varepsilon)/\varepsilon^3)\log n)$ の空間計算量を用いた空間効率の良いストリーミングアルゴリズムであり、$n$ と $d$ が同程度の大きさである場合、標準的な $\Omega(kd)$ の境界に比べ顕著に改善される。

ABSTRACT

Let $P$ be a set of $n$ points in $\\mathbb{R}^d$. In the projective clustering problem, given $k, q$ and norm $\ ho \\in [1,\\infty]$, we have to compute a set $\\mathcal{F}$ of $k$ $q$-dimensional flats such that $(\\sum_{p\\in P}d(p, \\mathcal{F})^\ ho)^{1/\ ho}$ is minimized; here $d(p, \\mathcal{F})$ represents the (Euclidean) distance of $p$ to the closest flat in $\\mathcal{F}$. We let $f_k^q(P,\ ho)$ denote the minimal value and interpret $f_k^q(P,\\infty)$ to be $\\max_{r\\in P}d(r, \\mathcal{F})$. When $\ ho=1,2$ and $\\infty$ and $q=0$, the problem corresponds to the $k$-median, $k$-mean and the $k$-center clustering problems respectively. For every $0 < \\epsilon < 1$, $S\\subset P$ and $\ ho \\ge 1$, we show that the orthogonal projection of $P$ onto a randomly chosen flat of dimension $O(((q+1)^2\\log(1/\\epsilon)/\\epsilon^3) \\log n)$ will $\\epsilon$-approximate $f_1^q(S,\ ho)$. This result combines the concepts of geometric coresets and subspace embeddings based on the Johnson-Lindenstrauss Lemma. As a consequence, an orthogonal projection of $P$ to an $O(((q+1)^2 \\log ((q+1)/\\epsilon)/\\epsilon^3) \\log n)$ dimensional randomly chosen subspace $\\epsilon$-approximates projective clusterings for every $k$ and $\ ho$ simultaneously. Note that the dimension of this subspace is independent of the number of clusters~$k$. Using this dimension reduction result, we obtain new approximation and streaming algorithms for projective clustering problems. For example, given a stream of $n$ points, we show how to compute an $\\epsilon$-approximate projective clustering for every $k$ and $\ ho$ simultaneously using only $O((n+d)((q+1)^2\\log ((q+1)/\\epsilon))/\\epsilon^3 \\log n)$ space. Compared to standard streaming algorithms with $\\Omega(kd)$ space requirement, our approach is a significant improvement when the number of input points and their dimensions are of the same order of magnitude.

研究の動機と目的

• 高次元空間における一般の射影クラスタリング問題に対する効率的な近似およびストリーミングアルゴリズムの設計。
• 標準的な $\Omega(kd)$ の空間計算量のアルゴリズムが非現実的になる、$n$ と $d$ が同程度の大きさである高次元データの課題に対処すること。
• すべての $k$ および $\rho$ に対して同時に $\varepsilon$-近似射影クラスタリングを保持する、1つの低次元埋め込みを達成すること。
• ランダム射影とコアセット理論を活用して次元削減を実現しつつ、近似保証を維持すること。

提案手法

• ランダム射影を用いて、$\mathbb{R}^d$ 内の $n$ 個の点を、次元 $O(((q+1)^2 \log((q+1)/\varepsilon)/\varepsilon^3)\log n)$ の低次元部分空間にマッピングし、最近接の $q$-フラットへの $\varepsilon$-近似距離を保持する。
• ジョンソン＝リンドンストラウスの補題を適用して、射影空間内での対比較距離が $1\pm\varepsilon$ の範囲内で保持されることを保証する。
• 任意の部分集合 $S\subset P$ に対して、最適な $f_1^q(S,\rho)$ 値を捉える、サイズ $C_\rho(q,\varepsilon)$ のコアセットを構築する。これにより、効率的な近似が可能になる。
• 射影されたデータを用いて、低次元空間で既存のストリーミングアルゴリズムを実行し、その後、解を元の空間に再挙上する。
• 次元削減の安定性のおかげで、射影された解がすべての $k$ および $\rho$ に対して同時に最適射影クラスタリングを $\varepsilon$-近似できることを証明する。
• 埋め込み次元が $k$ に依存しないことを利用し、すべてのクラスタ数にわたる一様な近似を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つの低次元ランダム射影が、すべての $k$ および $\rho$ に対して同時に $\varepsilon$-近似射影クラスタリングを保持できるか？
• RQ2 すべての $k$ および $\rho$ に対して最適射影クラスタリングコスト $f_k^q(P,\rho)$ の $\varepsilon$-近似を保証する最小のランダム部分空間の次元は何か？
• RQ3 ランダム射影を用いて、$o(kd)$ の空間計算量を達成する空間効率の良いストリーミングアルゴリズムを設計できるか？
• RQ4 コアセットサイズ $C_\rho(q,\varepsilon)$ は、$q$、$\varepsilon$、$n$ の各パラメータに対してどのようにスケーリングされるか？
• RQ5 このフレームワークを用いて、最小包含球（MEB）および関連問題を、より高次元のフラットへ拡張できるか？

主な発見

• 本稿では、任意の部分集合 $S\subset P$、$\rho\geq1$、$0<\varepsilon<1$ に対して、$P\subset\mathbb{R}^d$ をランダムに選ばれた $O(((q+1)^2\log((q+1)/\varepsilon)/\varepsilon^3)\log n)$ 次元の部分空間に射影することにより、$f_1^q(S,\rho)$ を $\varepsilon$-近似できることを証明している。
• この次元削減は、$k$ に依存しない埋め込み次元を持つため、すべての $k$ および $\rho$ に対して同時に $\varepsilon$-近似射影クラスタリングを保持する。
• すべての $k$ および $\rho$ に対して $\varepsilon$-近似射影クラスタリングは、ストリーミング設定下で $O((n+d)((q+1)^2\log((q+1)/\varepsilon)/\varepsilon^3)\log n)$ の空間計算量で計算可能である。
• $k$-センター問題（$\rho=\infty$, $q=0$）に対しては、実行時間が $O(n\log n \cdot 2^{k\log k/\varepsilon} + \frac{dn\log n}{\varepsilon^3})$ となり、以前の指数的依存性に比べ改善されている。
• 本手法により、次元削減を用いたチェホム複体の近似が可能である：高確率で $\mathcal{C}_{(1-c\varepsilon)\alpha}(P) \subseteq \mathcal{C}_\alpha(\hat{\pi}(P)) \subseteq \mathcal{C}_{(1+c\varepsilon)\alpha}(P)$ が成り立つ。ここで $m=\Theta(\log n / \varepsilon^3)$ 次元である。
• この結果は、$m$ より高い次元における恒久的トポロジカル特徴は有意義でないことを示しており、低次元射影におけるトポロジカル複雑性の理論的上限を提供する。