[논문 리뷰] Random Projections for k-Means: Maintaining Coresets Beyond Merge & Reduce.

Marc Bury, Chris Schwiegelshohn|arXiv (Cornell University)|2015. 04. 07.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 3

한 줄 요약

이 논문은 Johnson-Lindenstrauss 임bedding을 사용하여 k-means 문제에 대한 작은 코어셋을 구성하는 새로운 방법을 제안한다. 기존의 병합-감소 프레임워크에서 비롯되는 공간 비효율성을 피하기 위해 고안되었으며, 오프라인 코어셋 크기의 최적값 $\tilde{O}(k \epsilon^{-2} \min(d,k\epsilon^{-2}))$과 스트림 저장 용량의 최적값 $\tilde{O}(k^2 \epsilon^{-2} \log^2 n \min(d,k\epsilon^{-2}))$을 달성하여 데이터 스트림 환경에서 공간 효율성을 크게 향상시킨다.

ABSTRACT

We give a new construction for a small space summary satisfying the coreset guarantee of a data set with respect to the $k$-means objective function. The number of points required in an offline construction is in $ ilde{O}(k \epsilon^{-2}\min(d,k\epsilon^{-2}))$ which is minimal among all available constructions. Aside from two constructions with exponential dependence on the dimension, all known coresets are maintained in data streams via the merge and reduce framework, which incurs are large space dependency on $\log n$. Instead, our construction crucially relies on Johnson-Lindenstrauss type embeddings which combined with results from online algorithms give us a new technique for efficiently maintaining coresets in data streams without relying on merge and reduce. The final number of points stored by our algorithm in a data stream is in $ ilde{O}(k^2 \epsilon^{-2} \log^2 n \min(d,k\epsilon^{-2}))$.

연구 동기 및 목표

• 기존의 병합-감소 프레임워크에 의존하는 데이터 스트림 코어셋 유지 방법의 높은 공간 복잡도 문제를 해결하기 위해.
• 오프라인 환경에서 최적의 크기를 갖는 코어셋 구성 방법을 개발하여 차원과 근사 오차에 대한 의존도를 최소화하기 위해.
• 병합-감소에 의존하지 않고도 효율적이고 낮은 공간 복잡도로 데이터 스트림에서 코어셋을 유지할 수 있도록 하기 위해.
• Johnson-Lindenstrauss 임bedding과 온라인 알고리즘 기법을 조합하여 k-means 문제에 대해 확장 가능하고 공간 효율적인 코어셋 구성 방법을 만들기 위해.

제안 방법

• 고차원 데이터를 k-means의 구조를 유지하면서도 낮은 차원 공간으로 투영하기 위해 Johnson-Lindenstrauss 유형의 임베딩을 활용한다.
• 온라인 알고리즘의 결과를 활용하여 스트림에서 데이터가 도착함에 따라 코어셋을 점진적으로 유지한다.
• 임베딩된 공간에서 코어셋을 구성함으로써 k-means 목표 함수에 대한 $\epsilon$-근사 보장을 만족시킨다.
• 차원 감소를 적용하여 원래 데이터 차원 $d$에 대한 효과적인 의존도를 줄이며, 특히 $d$가 클 경우 유리하다.
• 전적으로 병합-감소 프레임워크를 회피함으로써 데이터 포인트 수에 대한 $\log n$ 공간 의존성을 제거한다.
• 임베딩 기반 압축과 온라인 코어셋 유지 기법을 조합하여 데이터 스트림에서 근사 최적의 공간 범위를 달성한다.

실험 결과

연구 질문

• RQ1 데이터 스트림에서 $\log n$에 대한 공간 복잡도에 의존하지 않는 k-means 코어셋을 구성할 수 있는가?
• RQ2 스트리밍 방법을 사용하여 $\tilde{O}(k \epsilon^{-2} \min(d,k\epsilon^{-2}))$의 최적 오프라인 코어셋 크기를 달성할 수 있는가?
• RQ3 Johnson-Lindenstrauss 임베딩을 온라인 코어셋 기법과 효과적으로 조합하여 병합-감소 없이도 정확도를 유지할 수 있는가?
• RQ4 k-means의 $\epsilon$-근사 조건을 유지하면서 데이터 스트림에서 코어셋을 유지하기 위해 필요한 최소 공간은 얼마인가?
• RQ5 기존의 병합-감소 기반 접근 방식과 비교해 병합-감소 없이도 공간 효율성이 뛰어난가?

주요 결과

• 오프라인 코어셋 구성은 $\tilde{O}(k \epsilon^{-2} \min(d,k\epsilon^{-2}))$의 크기를 달성하며, 알려진 구성 중 최적이다.
• 데이터 스트림 알고리즘은 $\tilde{O}(k^2 \epsilon^{-2} \log^2 n \min(d,k\epsilon^{-2}))$개의 점을 저장하며, 병합-감소에서 기인하는 $\log n$ 의존성을 크게 줄였다.
• 이전 두 가지 구성에서 발견된 차원에 대한 지수적 의존도를 제거하여 고차원 데이터에 대해서도 확장 가능하다.
• 병합-감소를 Johnson-Lindenstrauss 임베딩으로 대체함으로써 스트리밍 환경에서 더 뛰어난 공간 효율성을 달성한다.
• 알고리즘은 고확률로 k-means 목표 함수에 대한 $\epsilon$-근사 보장을 유지한다.
• 이 방법은 병합-감소에 의존하지 않으면서도 최적의 오프라인 크기와 낮은 스트림 공간 복잡도를 동시에 달성하는 최초의 방법이다.