[논문 리뷰] Learning Mixtures of Discrete Product Distributions using Spectral Decompositions

Prateek Jain, Sewoong Oh|arXiv (Cornell University)|2013. 11. 12.

Machine Learning and Algorithms참고 문헌 32인용 수 19

한 줄 요약

이 논문은 스펙트럼 분해 기법을 사용하여 일반적인 이산 알파벳 위에서 이산 제품 분포의 혼합을 다항 시간 알고리즘으로 학습하는 방법을 제안한다. 불완전한 샘플 모멘트로부터 저질서 행렬과 텐서를 추정함으로써 유한 샘플 보장과 일致하는 매개변수 추정을 달성하며, 구성 요소 수, 차원 수, 알파벳 크기와 관련된 다항 시간 및 샘플 복잡도를 확보한다.

ABSTRACT

We study the problem of learning a distribution from samples, when the underlying distribution is a mixture of product distributions over discrete domains. This problem is motivated by several practical applications such as crowd-sourcing, recommendation systems, and learning Boolean functions. The existing solutions either heavily rely on the fact that the number of components in the mixtures is finite or have sample/time complexity that is exponential in the number of components. In this paper, we introduce a polynomial time/sample complexity method for learning a mixture of $r$ discrete product distributions over $\{1, 2, \dots, \ell\}^n$, for general $\ell$ and $r$. We show that our approach is statistically consistent and further provide finite sample guarantees. We use techniques from the recent work on tensor decompositions for higher-order moment matching. A crucial step in these moment matching methods is to construct a certain matrix and a certain tensor with low-rank spectral decompositions. These tensors are typically estimated directly from the samples. The main challenge in learning mixtures of discrete product distributions is that these low-rank tensors cannot be obtained directly from the sample moments. Instead, we reduce the tensor estimation problem to: $a$) estimating a low-rank matrix using only off-diagonal block elements; and $b$) estimating a tensor using a small number of linear measurements. Leveraging on recent developments in matrix completion, we give an alternating minimization based method to estimate the low-rank matrix, and formulate the tensor completion problem as a least-squares problem.

연구 동기 및 목표

• 일반적인 이산 알파벳 위에서 이산 제품 분포의 혼합을 학습하는 문제에 도전하며, 기존 방법이 지수적 복잡도 또는 강한 가정에 의존하는 데서 비롯되는 문제를 해결한다.
• 임의의 ℓ 및 r에 대해 {1,…,ℓ}ⁿ 위에서 r개의 제품 분포 혼합을 다항 샘플 및 시간 복잡도로 학습할 수 있는 방법을 개발한다.
• KL-발산 프레임워크 내에서 매개변수 추정 및 클러스터링에 대한 유한 샘플 보장을 제공하여 일관성과 정확성을 확보한다.
• 불완전한 샘플 모멘트로부터 저질서 텐서를 구성하는 데 어려움을 해결하기 위해 교대 최소화와 선형 측정치에 기반한 최소 제곱 추정을 사용한다.
• 크라우드소싱, 추천 시스템, 부울 함수 학습과 같은 실용적 응용을 가능하게 하기 위해 확장 가능하고 증명 가능한 정확도를 보장하는 학습 알고리즘을 제공한다.

제안 방법

• 완전한 모멘트 텐서가 직접 관측되지 않더라도 샘플 모멘트로부터 저질서 구조를 복구하기 위해 텐서 분해 기법을 사용한다.
• 대칭 성분이 아닌 항목들로부터 저질서 행렬을 추정하기 위해 교대 최소화 알고리즘을 사용하여 강건성과 수렴성을 향상시킨다.
• 모멘트 텐서의 일부 선형 측정치만을 사용하여 텐서 추정 문제를 최소 제곱 최적화 문제로 재구성한다.
• 모멘트 텐서의 스펙트럼 분해를 활용하여 구조적 행렬 복원을 통해 기저의 혼합 성분과 성분 가중치를 복원한다.
• 차원 축소 단계를 적용하여 추정된 성분 분포를 사용해 거리 기반 클러스터링을 고확률로 수행할 수 있도록 한다.
• 집중 부등식과 행렬 페르터베이션 경계를 활용하여 추정된 매개변수 및 클러스터링 성능에 대한 유한 샘플 오차 경계를 유도한다.

실험 결과

연구 질문

• RQ1 일반적인 이산 알파벳 위에서 다항 샘플 및 시간 복잡도로 이산 제품 분포의 혼합을 학습할 수 있는가?
• RQ2 일관성을 보장하는 방식으로 부분적 또는 불완전한 샘플 모멘트로부터 저질서 텐서와 행렬을 어떻게 추정할 수 있는가?
• RQ3 진짜 혼합 분포와 추정된 혼합 분포 간의 KL-발산 측정 기준으로 매개변수 추정의 유한 샘플 오차 경계는 무엇인가?
• RQ4 제안된 방법은 샘플 데이터만을 사용하여 기저의 성분으로의 샘플 클러스터링을 정확하게 수행할 수 있는가?
• RQ5 추정된 매개변수가 진짜 값과 높은 확률로 가까워지도록 보장하기 위한 샘플 크기 및 모델 매개변수의 조건은 무엇인가?

주요 결과

• 제안된 알고리즘은 n, r, ℓ, 1/ε, log(1/δ)에 대해 다항 샘플 및 시간 복잡도를 확보하여 실용적 사용에 적합하다.
• 유한 샘플 보장이 확립되었다: 매개변수 추정 오차가 ε_M를 통해 제어될 경우, 진짜 혼합 분포와 추정된 혼합 분포 간의 KL-발산은 O(η) 이하로 제한된다.
• 클러스터링에 있어서, 샘플 크기가 O(μ⁶r⁷n³σ₁(M₂)⁷w_max log(n/δ)/(w_min²σ_r(M₂)⁹ε̃²))를 초과할 경우, 동일한 성분에서 온 샘플은 서로 다른 성분에서 온 샘플보다 투영 공간에서 더 가까워진다.
• 매개변수 추정 오차는 |ŵ_i - w_i| = O(ε_M) 및 |π̂_i^{(j),a} - π_i^{(j),a}| = O(ε_M√(σ₁(M₂)w_max r / w_min))를 만족하며, 이는 진짜 매개변수로의 수렴을 보장한다.
• ε_w = O(η³), ε_π = O(η² / n²ℓ⁶), ε_M ≤ Cη² min{w_min^{1/2}/(n²ℓ⁶(σ₁(M₂)w_max r)^{1/2}), η}일 경우, KL-발산 경계가 O(η)로 제한되며, 이는 강력한 유한 샘플 성능을 보여준다.
• 이론적 분석은 샘플 크기가 모델 복잡도 및 노이즈 수준에 비해 충분히 클 경우, 거리 기반 클러스터링 알고리즘이 높은 확률로 성공함을 확인한다.