[논문 리뷰] Approximation and Streaming Algorithms for Projective Clustering via Random Projections

Michael Kerber, Sharath Raghvendra|arXiv (Cornell University)|2014. 07. 08.

Computational Geometry and Mesh Generation참고 문헌 33인용 수 7

한 줄 요약

이 논문은 무작위 투영을 이용한 근사 및 스트리밍 알고리즘을 제안하며, $\mathbb{R}^d$에 있는 $n$개의 점을 $O(((q+1)^2 \log((q+1)/\varepsilon)/\varepsilon^3)\log n)$차원의 부분공간으로 투영하여 모든 $k$와 $\rho$에 대해 동시에 $\varepsilon$-근사값을 달성한다. 주요 기여는 공간 효율적인 스트리밍 알고리즘으로, $O((n+d)((q+1)^2\log((q+1)/\varepsilon)/\varepsilon^3)\log n)$의 공간만을 사용하며, $n$과 $d$가 유사한 경우 기존의 $\Omega(kd)$ 경계에 비해 크게 향상된다.

ABSTRACT

Let $P$ be a set of $n$ points in $\\mathbb{R}^d$. In the projective clustering problem, given $k, q$ and norm $\ ho \\in [1,\\infty]$, we have to compute a set $\\mathcal{F}$ of $k$ $q$-dimensional flats such that $(\\sum_{p\\in P}d(p, \\mathcal{F})^\ ho)^{1/\ ho}$ is minimized; here $d(p, \\mathcal{F})$ represents the (Euclidean) distance of $p$ to the closest flat in $\\mathcal{F}$. We let $f_k^q(P,\ ho)$ denote the minimal value and interpret $f_k^q(P,\\infty)$ to be $\\max_{r\\in P}d(r, \\mathcal{F})$. When $\ ho=1,2$ and $\\infty$ and $q=0$, the problem corresponds to the $k$-median, $k$-mean and the $k$-center clustering problems respectively. For every $0 < \\epsilon < 1$, $S\\subset P$ and $\ ho \\ge 1$, we show that the orthogonal projection of $P$ onto a randomly chosen flat of dimension $O(((q+1)^2\\log(1/\\epsilon)/\\epsilon^3) \\log n)$ will $\\epsilon$-approximate $f_1^q(S,\ ho)$. This result combines the concepts of geometric coresets and subspace embeddings based on the Johnson-Lindenstrauss Lemma. As a consequence, an orthogonal projection of $P$ to an $O(((q+1)^2 \\log ((q+1)/\\epsilon)/\\epsilon^3) \\log n)$ dimensional randomly chosen subspace $\\epsilon$-approximates projective clusterings for every $k$ and $\ ho$ simultaneously. Note that the dimension of this subspace is independent of the number of clusters~$k$. Using this dimension reduction result, we obtain new approximation and streaming algorithms for projective clustering problems. For example, given a stream of $n$ points, we show how to compute an $\\epsilon$-approximate projective clustering for every $k$ and $\ ho$ simultaneously using only $O((n+d)((q+1)^2\\log ((q+1)/\\epsilon))/\\epsilon^3 \\log n)$ space. Compared to standard streaming algorithms with $\\Omega(kd)$ space requirement, our approach is a significant improvement when the number of input points and their dimensions are of the same order of magnitude.

연구 동기 및 목표

• 고차원 공간에서 일반적인 프로젝티브 클러스터링 문제를 위한 효율적인 근사 및 스트리밍 알고리즘을 설계하는 것.
• 모든 $k$와 $\rho$에 대해 동시에 $\varepsilon$-근사 프로젝티브 클러스터링을 유지하는 단일 저차원 임bedding을 얻는 것.
• 무작위 투영과 코어셋 이론을 활용하여 차원을 감소시키면서도 근사 보장을 유지하는 것.
• 고차원 데이터에서 $n$과 $d$가 유사한 크기일 때 기존의 $\Omega(kd)$ 공간 알고리즘이 비실용적이므로 이를 해결하는 것.

제안 방법

• 무작위 투영을 사용하여 $\mathbb{R}^d$에 있는 $n$개의 점을 $O(((q+1)^2 \log((q+1)/\varepsilon)/\varepsilon^3)\log n)$차원의 부분공간으로 매핑하여, 가장 가까운 $q$-플랫까지의 $\varepsilon$-근사 거리를 유지한다.
• Johnson-Lindenstrauss 렘마를 적용하여 투영된 공간에서 쌍별 거리가 $1\pm\varepsilon$ 범위 내에서 유지되도록 보장한다.
• 모든 부분집합 $S\subset P$에 대해 최적의 $f_1^q(S,\rho)$ 값을 포괄하는 크기 $C_\rho(q,\varepsilon)$의 코어셋을 투영된 공간에 구축한다. 이는 효율적인 근사 계산을 가능하게 한다.
• 투영된 데이터를 사용하여 기존의 스트리밍 알고리즘을 저차원 공간에서 실행한 후, 결과를 원래 공간으로 복원한다.
• 차원 감소의 안정성 덕분에, 투영된 해가 모든 $k$와 $\rho$에 대해 동시에 최적의 프로젝티브 클러스터링을 $\varepsilon$-근사로 유지함을 증명한다.
• 임베딩 차원이 $k$에 독립적이므로, 모든 클러스터 수에 걸쳐 균일한 근사가 가능하다는 점을 활용한다.

실험 결과

연구 질문

• RQ1 모든 $k$와 $\rho$에 대해 동시에 $\varepsilon$-근사 프로젝티브 클러스터링을 유지하는 단일 저차원 무작위 투영이 가능한가?
• RQ2 모든 $k$와 $\rho$에 대해 최적의 프로젝티브 클러스터링 비용 $f_k^q(P,\rho)$의 $\varepsilon$-근사값을 보장하는 최소한의 무작위 부분공간 차원은 얼마인가?
• RQ3 무작위 투영을 사용하여 $o(kd)$ 공간 복잡도를 갖는 공간 효율적인 스트리밍 알고리즘을 프로젝티브 클러스터링에 적용할 수 있는가?
• RQ4 무작위 투영의 맥락에서 코어셋 크기 $C_\rho(q,\varepsilon)$는 $q$, $\varepsilon$, $n$에 대해 어떻게 변화하는가?
• RQ5 이 프레임워크를 통해 최소 둘레 구(s) 및 관련 문제의 근사가 고차원 플랫으로 확장될 수 있는가?

주요 결과

• 논문은 $P\subset\mathbb{R}^d$를 무작위로 선택된 $O(((q+1)^2\log((q+1)/\varepsilon)/\varepsilon^3)\log n)$차원 부분공간으로 투영할 경우, 임의의 부분집합 $S\subset P$, $\rho\geq1$, $0<\varepsilon<1$에 대해 $f_1^q(S,\rho)$를 $\varepsilon$-근사로 유지함을 증명한다.
• 이 차원 감소는 모든 $k$와 $\rho$에 대해 동시에 $\varepsilon$-근사 프로젝티브 클러스터링을 유지하며, 임베딩 차원이 $k$에 독립적이라는 점에서 중요하다.
• 모든 $k$와 $\rho$에 대해 $\varepsilon$-근사 프로젝티브 클러스터링은 스트리밍 환경에서 $O((n+d)((q+1)^2\log((q+1)/\varepsilon)/\varepsilon^3)\log n)$의 공간으로 계산할 수 있다.
• $k$-센터 문제 ($\rho=\infty$, $q=0$)의 경우, 알고리즘의 실행 시간은 $O(n\log n \cdot 2^{k\log k/\varepsilon} + \frac{dn\log n}{\varepsilon^3})$로 기존의 지수적 의존성보다 향상된다.
• 이 방법은 차원 감소를 통해 Čech 복합체를 근사할 수 있다: 고확률적으로 $\mathcal{C}_{(1-c\varepsilon)\alpha}(P) \subseteq \mathcal{C}_\alpha(\hat{\pi}(P)) \subseteq \mathcal{C}_{(1+c\varepsilon)\alpha}(P)$이며, 이때 $m=\Theta(\log n / \varepsilon^3)$이다.
• 이 결과는 $m$차원을 초월하는 높은 차원의 지속적 위상적 특징은 중요하지 않음을 시사하며, 저차원 투영에서 위상 복잡성에 대한 이론적 경계를 제공한다.