[논문 리뷰] Coresets for Gaussian Mixture Models of Any Shape

Dan Feldman, Zahi Kfir외 1명|arXiv (Cornell University)|2019. 06. 12.

Advanced Image and Video Retrieval Techniques참고 문헌 76인용 수 7

한 줄 요약

이 논문은 임의의 형상—즉, 비유계 공분산 고유값 비율을 가진—가우시안 믹스처 모델(GMM)에 대한 최초의 코어셋 구성법을 제시한다. 이는 $(\log n)^{O(1)}/\varepsilon^2$의 코어셋 크기와 거의 선형 시간 계산을 달성한다. 방법은 민감도 분석과 $\ell_\infty$-코어셋을 통해 GMM 코어셋 문제를 사영적 클러스터링으로 환원함으로써, 음의 로그우도에 대한 증명 가능하고 $(1+\varepsilon)$-근사 보장이 있는 스트리밍, 동적, 분산 학습을 효율적으로 가능하게 한다.

ABSTRACT

An $\varepsilon$-coreset for a given set $D$ of $n$ points, is usually a small weighted set, such that querying the coreset \emph{provably} yields a $(1+\varepsilon)$-factor approximation to the original (full) dataset, for a given family of queries. Using existing techniques, coresets can be maintained for streaming, dynamic (insertion/deletions), and distributed data in parallel, e.g. on a network, GPU or cloud. We suggest the first coresets that approximate the negative log-likelihood for $k$-Gaussians Mixture Models (GMM) of arbitrary shapes (ratio between eigenvalues of their covariance matrices). For example, for any input set $D$ whose coordinates are integers in $[-n^{100},n^{100}]$ and any fixed $k,d\geq 1$, the coreset size is $(\log n)^{O(1)}/\varepsilon^2$, and can be computed in time near-linear in $n$, with high probability. The optimal GMM may then be approximated quickly by learning the small coreset. Previous results [NIPS'11, JMLR'18] suggested such small coresets for the case of semi-speherical unit Gaussians, i.e., where their corresponding eigenvalues are constants between $\frac{1}{2π}$ to $2π$. Our main technique is a reduction between coresets for $k$-GMMs and projective clustering problems. We implemented our algorithms, and provide open code, and experimental results. Since our coresets are generic, with no special dependency on GMMs, we hope that they will be useful for many other functions.

연구 동기 및 목표

• 임의의 공분산 형상, 즉 비유계 고유값 비율을 가진 $k$-가우시안 믹스처 모델(GMM)에 대한 코어셋 구성법을 개발한다.
• 입력 크기를 줄이면서도 음의 로그우도에 대한 $(1+\varepsilon)$-근사 보존을 유지함으로써, 대규모 데이터에서 GMM의 효율적이고 확장 가능한 학습을 가능하게 한다.
• 기존의 코어셋 기법을 반구형 가우시안에 국한된 이전 연구의 제한을 넘어, 비구형 GMM에까지 확장한다.
• 민감도 및 VC차원 분석에 기반하여, GMM을 초월한 광범위한 학습 문제에 적용 가능한 일반적인 프레임워크를 제공한다.

제안 방법

• 하위공간에 대한 기존 코어셋 결과를 활용하여, $k$-GMM에 대한 $\varepsilon$-코어셋 구성 문제를 사영적 클러스터링 문제로 환원한다.
• 개별 포인트의 영향력을 음의 로그우도 근사에서 제한하기 위해 민감도 샘플링과 $\ell_\infty$-코어셋 구성법을 사용한다.
• 공간의 계층적 분할(예: 고리, 스트립, 직사각형)에 대해 재귀적 코어셋 구성법을 적용하여 임의의 하위공간 구성에 대응한다.
• 스트리밍 데이터를 위해 반으로 나누는 계산법을 적용하여, 높은 확률로 크기가 $O(\log n / \varepsilon^2)$인 코어셋을 유지한다.
• 사영적 클러스터링의 VC차원 경계를 유도하여, 코어셋 크기가 $n$에 관계없이 $\varepsilon$, $k$, $d$에만 의존하도록 보장한다.
• 알고리즘을 구현하고 오픈소스 코드를 공개하여 실제 데이터셋에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 비유계 고유값 비율을 가진 임의의 형상의 가우시안을 포함하는 $k$-GMM에 대해 음의 로그우도에 대한 $(1+\varepsilon)$-근사 보존을 유지하면서 코어셋을 구성할 수 있는가?
• RQ2 스트리밍, 동적, 분산 환경에서 이러한 코어셋을 효율적으로 유지할 수 있는가?
• RQ3 이러한 코어셋 구성법을 GMM을 초월해 유사한 비용 함수를 가진 다른 학습 문제로 일반화할 수 있는가?
• RQ4 이러한 코어셋의 이론적 크기 경계는 무엇이며, $n$, $k$, $d$, $\varepsilon$에 따라 어떻게 척도가 변하는가?
• RQ5 입력 또는 공분산 행렬에 대한 구조적 가정 하에 $d$와 $k$에 대한 지수적 의존도를 줄일 수 있는가?

주요 결과

• 입력 좌표가 $[-n^{100}, n^{100}]$에 속해 있다고 가정할 경우, 임의의 형상 가우시안을 가진 $k$-GMM에 대해 코어셋 크기는 $(\log n)^{O(1)}/\varepsilon^2$이다.
• 코어셋은 높은 확률로 $n$에 대해 거의 선형 시간 내에 계산될 수 있어 확장 가능한 학습을 가능하게 한다.
• 기존의 코어셋 유지 기법을 통해 스트리밍, 동적, 분산 데이터를 지원한다.
• 프레임워크는 GMM 코어셋 구성 문제를 사영적 클러스터링으로 환원하여, 하위공간에 대한 기존 코어셋 결과를 재사용한다.
• 실험 결과는 이론적 최악의 경우 경계와 실제 세계 데이터에서의 경험적 성능 사이에 뚜렷한 격차가 있음을 보여준다.
• 이 방법은 로그-립시츠 손실 함수를 가진 다른 모델로도 일반화 가능하므로, GMM을 초월한 광범위한 적용 가능성을 시사한다.