[논문 리뷰] Learning Mixture of Gaussians with Streaming Data

Aditi Raghunathan, Prateek Jain외 1명|arXiv (Cornell University)|2017. 07. 08.

Machine Learning and Algorithms인용 수 3

한 줄 요약

이 논문은 중심 분리 조건이 약간만 필요한 상황에서, 주어진 데이터 스트림을 한 번만 스캔하는 스트리밍 알고리즘을 제안하며, 주어진 조건 하에서 최적의 중심 추정을 달성한다. 이 알고리즘은 수정된 Lloyd 알고리즘과 PCA 기반 온라인 초기화를 결합하여, 중심 추정의 편향과 분산에 대해 거의 최적의 수렴 속도를 보이며, 두 성분으로 이루어진 혼합 모형에 대해 스트리밍 EM 변형을 통해 일致된 추정을 가능하게 한다.

ABSTRACT

In this paper, we study the problem of learning a mixture of Gaussians with streaming data: given a stream of $N$ points in $d$ dimensions generated by an unknown mixture of $k$ spherical Gaussians, the goal is to estimate the model parameters using a single pass over the data stream. We analyze a streaming version of the popular Lloyd's heuristic and show that the algorithm estimates all the unknown centers of the component Gaussians accurately if they are sufficiently separated. Assuming each pair of centers are $C\sigma$ distant with $C=\Omega((k\log k)^{1/4}\sigma)$ and where $\sigma^2$ is the maximum variance of any Gaussian component, we show that asymptotically the algorithm estimates the centers optimally (up to certain constants); our center separation requirement matches the best known result for spherical Gaussians \citep{vempalawang}. For finite samples, we show that a bias term based on the initial estimate decreases at $O(1/{ m poly}(N))$ rate while variance decreases at nearly optimal rate of $\sigma^2 d/N$. Our analysis requires seeding the algorithm with a good initial estimate of the true cluster centers for which we provide an online PCA based clustering algorithm. Indeed, the asymptotic per-step time complexity of our algorithm is the optimal $d\cdot k$ while space complexity of our algorithm is $O(dk\log k)$. In addition to the bias and variance terms which tend to $0$, the hard-thresholding based updates of streaming Lloyd's algorithm is agnostic to the data distribution and hence incurs an \emph{approximation error} that cannot be avoided. However, by using a streaming version of the classical \emph{(soft-thresholding-based)} EM method that exploits the Gaussian distribution explicitly, we show that for a mixture of two Gaussians the true means can be estimated consistently, with estimation error decreasing at nearly optimal rate, and tending to $0$ for $N ightarrow \infty$.

연구 동기 및 목표

• 메모리와 시간 제약으로 인해 기존 배치 방법이 불가능한 상황에서, 단일 스트림 패ass로 k개의 구형 정규분포 혼합모형을 학습하는 문제에 대응한다.
• 낮은 공간 및 시간 복잡도를 유지하면서도 구성 요소 평균의 정확한 추정을 달성하는 스트리밍 버전의 Lloyd 알고리즘을 개발한다.
• 클러스터 중심 간의 분리 조건 하에서 추정 오차(편향 및 분산)에 대한 이론적 보장을 제공한다.
• 최소한의 사전 지식으로도 효과적으로 작동하는 온라인 PCA 기반 초기화 방법을 제안한다.
• 스트리밍 소프트 스레셔딩 EM 변형이 두 성분으로 이루어진 정규분포 혼합모형에서 진짜 평균의 일관된 추정을 가능하게 함을 보여준다.

제안 방법

• 가장 가까운 중심 기반으로 점들을 클러스터에 할당하기 위해 하드 스레셔딩 업데이트를 통합함으로써 스트리밍 데이터에 적합한 Lloyd 알고리즘을 변형한다.
• 초기 중심 추정치를 계산하기 위해 온라인 PCA를 사용하며, 이는 수렴성과 초기화 편향 감소에 핵심적이다.
• 초기 초기화에서 발생하는 편향을 분석하여, 이가 $ O(1/\text{poly}(N)) $ 속도로 감소하고, 분산이 $ \sigma^2 d / N $ 속도로 감소함을 보이며, 이는 거의 최적이다.
• 정규분포의 분포 특성을 명시적으로 활용하여 개선된 추정 성능를 얻는 스트리밍 소프트 스레셔딩 기반 EM 알고리즘의 변형을 도입한다.
• 중심 간 분리 조건에 대한 이론적 경계를 설정: $ C = \Omega((k\log k)^{1/4}) $, 이는 구형 정규분포에 대해 알려진 최고 수준의 결과와 일치한다.
• 스텝당 점근적 시간 복잡도 $ O(dk) $와 공간 복잡도 $ O(dk\log k) $를 달성하며, 문제에 대해 최적이다.

실험 결과

연구 질문

• RQ1 약간의 중심 분리 조건 하에서, 스트리밍 버전의 Lloyd 알고리즘이 구형 정규분포 혼합모형에 대해 최적의 추정 정확도를 달성할 수 있는가?
• RQ2 스트리밍 환경에서 편향과 분산의 수렴 속도는 무엇이며, 이를 거의 최적화할 수 있는가?
• RQ3 낮은 계산 비용으로 최소한의 계산 자원으로도 온라인에서 좋은 중심 추정치를 얻을 수 있는 방법은 무엇인가?
• RQ4 정규분포의 구조를 활용하는 스트리밍 EM 변형이 $ N \to \infty $ 일 때 진짜 평균의 일관된 추정을 달성할 수 있는가?
• RQ5 스트리밍 클러스터링에서 하드 스레셔딩에 의한 근사 오차와 통계적 오차 사이의 상충 관계는 무엇인가?

주요 결과

• 스트리밍 Lloyd 알고리즘은 중심 간 분리 조건 $ C = \Omega((k\log k)^{1/4}) $ 하에서 점근적으로 최적의 중심 추정을 달성하며, 이는 구형 정규분포에 대해 알려진 최고 수준의 경계와 일치한다.
• 초기 추정치에서 발생하는 편향은 $ O(1/\text{poly}(N)) $ 속도로 감소하고, 분산은 거의 최적의 속도 $ \sigma^2 d / N $ 로 감소한다.
• 알고리즘은 최적의 스텝당 시간 복잡도 $ O(dk) $ 와 공간 복잡도 $ O(dk\log k) $ 를 확보하여 고차원 스트리밍 데이터에 대해 확장 가능하다.
• 두 성분 혼합모형의 경우, 스트리밍 소프트 스레셔딩 EM 방법은 진짜 평균의 일관된 추정을 보장하며, $ N \to \infty $ 일 때 오차가 0으로 수렴한다.
• 하드 스레셔딩 업데이트는 피할 수 없는 근사 오차를 유발하지만, 이는 통계적 추정 오차와 별개이며, 소프트 스레셔딩 EM 변형에서는 일관성에 영향을 주지 않는다.