[논문 리뷰] Turning Big data into tiny data: Constant-size coresets for k-means, PCA and projective clustering

Dan Feldman, Melanie Schmidt외 1명|arXiv (Cornell University)|2018. 07. 12.

Advanced Clustering Algorithms Research인용 수 6

한 줄 요약

이 논문은 k-means, PCA 및 사영적 군집화를 위한 새로운 코어셋 구성 기법을 제안하며, 고차원 공간에 있는 대규모 데이터셋을 데이터 크기와 차원 수에 관계없이 일정 크기의 가중치가 부여된 집합으로 압축한다. 이 방법은 무작위 투영을 통한 차원 축소 후 가중치가 부여된 샘플링을 사용하여 $(1+\varepsilon)$-근사 보장을 달성하며, 코어셋 크기는 $O(k^{\lceil \log_{1+f_1(\varepsilon/2)} \frac{1}{f_3(\varepsilon/2)} \rceil})$로 표현되며, 이는 $k$와 $\varepsilon$에만 의존한다. 코어셋은 융합 가능하여 스트리밍 및 분산 처리에 효율적이다.

ABSTRACT

We develop and analyze a method to reduce the size of a very large set of data points in a high dimensional Euclidean space R d to a small set of weighted points such that the result of a predetermined data analysis task on the reduced set is approximately the same as that for the original point set. For example, computing the first k principal components of the reduced set will return approximately the first k principal components of the original set or computing the centers of a k-means clustering on the reduced set will return an approximation for the original set. Such a reduced set is also known as a coreset. The main new feature of our construction is that the cardinality of the reduced set is independent of the dimension d of the input space and that the sets are mergable. The latter property means that the union of two reduced sets is a reduced set for the union of the two original sets (this property has recently also been called composability, see Indyk et. al., PODS 2014). It allows us to turn our methods into streaming or distributed algorithms using standard approaches. For problems such as k-means and subspace approximation the coreset sizes are also independent of the number of input points. Our method is based on projecting the points on a low dimensional subspace and reducing the cardinality of the points inside this subspace using known methods. The proposed approach works for a wide range of data analysis techniques including k-means clustering, principal component analysis and subspace clustering. The main conceptual contribution is a new coreset definition that allows to charge costs that appear for every solution to an additive constant.

연구 동기 및 목표

• 입자 물리학, 게놈학, 센서 네트워크와 같은 분야에서 대규모 고차원 데이터셋을 분석하는 데 발생하는 확장성 문제를 해결하기 위해.
• k-means 군집화 및 PCA와 같은 후속 분석 작업의 품질을 유지하면서 데이터 크기를 줄일 수 있는 코어셋 구성 기법을 개발하기 위해.
• 입력 포인트 수와 데이터 차원 수 $d$에 관계없이 코어셋 크기가 독립적이도록 하여 대용량 데이터 처리의 효율성을 높이기 위해.
• 서로소 데이터셋에서 유도된 코어셋의 합집합이 병합된 데이터셋에 대해 유효한 코어셋이 되는 융합 가능한 코어셋을 설계하여 분산 및 스트리밍 알고리즘을 지원하기 위해.
• 다양한 Bregman 발산에 대해 적용 가능한 새로운 코어셋 정의를 제공하여 근사 비용을 상수항에 할당할 수 있도록 하여, 다양한 Bregman 발산에 대한 분석을 단순화하기 위해.

제안 방법

• 무작위 차원 축소를 통해 고차원 입력 포인트를 저차원 부분공간에 투영하여 환경 차원을 $O(k/\varepsilon^2)$로 감소시킨다.
• 저차원 부분공간 내에서 기존의 $k$-means 및 부분공간 근사에 대한 코어셋 구성 기법을 적용하며, 민감도 점수에 기반한 가중치가 부여된 샘플링을 사용한다.
• 핵심 기여는 Bregman 발산의 $m$-유사도를 사용하여 근사 오차를 제한하고, 일정 크기의 코어셋 크기 bound를 도출할 수 있도록 하는 것이다.
• 코어셋 구성은 융합 가능하도록 설계되었으며, 서로소 데이터셋에서 유도된 코어셋의 합집합이 병합된 데이터셋에 대해 유효한 코어셋이 되도록 한다. 이는 분산 및 스트리밍 처리를 지원한다.
• 이론적 분석은 근사 보장의 증명을 단순화하기 위해 추가 오차를 상수항에 할당할 수 있는 새로운 코어셋 정의를 사용한다.
• 최종 코어셋 크기는 $2k^{\lceil \log_{1+f_1(\varepsilon/2)} \frac{1}{f_3(\varepsilon/2)} \rceil}$로 bound되며, 여기서 $f_1(\varepsilon) = (1 + \frac{4}{m\varepsilon})^{-2}$ 및 $f_3(\varepsilon) = (1 + \frac{4}{m\varepsilon})^{-2}$이며, 이는 $n$과 $d$에 관계없이 일정한 크기를 보장한다.

실험 결과

연구 질문

• RQ1 입력 포인트 수 $n$과 차원 수 $d$에 관계없이 일정한 크기의 코어셋을 고차원 공간에서 $k$-means 및 PCA에 대해 구성할 수 있는가?
• RQ2 분산 및 스트리밍 처리에 효율적인 융합 가능한 코어셋 구성 기법을 설계할 수 있는가?
• RQ3 Bregman 발산을 어떻게 활용하여 $(1+\varepsilon)$-근사 보장과 함께 일정 크기의 코어셋 크기 bound를 유도할 수 있는가?
• RQ4 제안된 프레임워크 하에서 사영적 군집화 및 부분공간 근사에 대한 코어셋 크기의 이론적 한계는 무엇인가?
• RQ5 이 코어셋 구성 기법을 $k$-means 및 PCA를 초월한 다양한 데이터 분석 작업으로 일반화할 수 있는가?

주요 결과

• 제안된 코어셋 구성 기법은 $k$-means, PCA 및 사영적 군집화에 대해 $(1+\varepsilon)$-근사 보장을 달성하며, 코어셋 크기는 $k$와 $\varepsilon$에만 의존하고 $n$이나 $d$에는 영향을 받지 않는다.
• 코어셋 크기는 $2k^{\lceil \log_{1+f_1(\varepsilon/2)} \frac{1}{f_3(\varepsilon/2)} \rceil}$로 bound되며, 여기서 $f_1(\varepsilon) = (1 + \frac{4}{m\varepsilon})^{-2}$이므로 고정된 $k$와 $\varepsilon$에 대해 일정한 크기를 확보한다.
• 이 방법은 서로소 데이터셋에서 유도된 코어셋의 합집합이 병합된 데이터셋에 대해 유효한 코어셋이 되도록 보장하여, 분산 및 스트리밍 처리에 효율적이다.
• 이론적 분석 결과, $O(k/\varepsilon^2)$ 차원으로 차원 축소한 후 임의의 $j$차원 부분공간으로의 제곱 거리 합이 $(1+\varepsilon)$ 요인 이내로 근사됨을 보여준다.
• 코어셋 구성 기법은 제곱 유클리드 거리와 같은 다양한 Bregman 발산에 적용 가능하며, 군집화 및 차원 축소 작업 모두를 지원한다.
• 이 프레임워크는 비용을 상수항에 할당할 수 있는 새로운 코어셋 정의를 도입하여 분석을 단순화하고, 복잡한 데이터 분석 작업에 대해 더 날카운 가중치를 도출할 수 있도록 한다.