[论文解读] Learning Mixtures of Discrete Product Distributions using Spectral Decompositions

Prateek Jain, Sewoong Oh|arXiv (Cornell University)|Nov 12, 2013

Machine Learning and Algorithms参考文献 32被引用 19

一句话总结

本论文提出了一种多项式时间算法，利用谱分解技术学习一般离散字母表上的离散乘积分布混合模型。通过从不完整的样本矩估计低秩矩阵和张量，该方法实现了有限样本保证，并在样本复杂度和时间复杂度上均为组件数、维度和字母表大小的多项式函数，实现了参数估计的一致性。

ABSTRACT

We study the problem of learning a distribution from samples, when the underlying distribution is a mixture of product distributions over discrete domains. This problem is motivated by several practical applications such as crowd-sourcing, recommendation systems, and learning Boolean functions. The existing solutions either heavily rely on the fact that the number of components in the mixtures is finite or have sample/time complexity that is exponential in the number of components. In this paper, we introduce a polynomial time/sample complexity method for learning a mixture of $r$ discrete product distributions over $\{1, 2, \dots, \ell\}^n$, for general $\ell$ and $r$. We show that our approach is statistically consistent and further provide finite sample guarantees. We use techniques from the recent work on tensor decompositions for higher-order moment matching. A crucial step in these moment matching methods is to construct a certain matrix and a certain tensor with low-rank spectral decompositions. These tensors are typically estimated directly from the samples. The main challenge in learning mixtures of discrete product distributions is that these low-rank tensors cannot be obtained directly from the sample moments. Instead, we reduce the tensor estimation problem to: $a$) estimating a low-rank matrix using only off-diagonal block elements; and $b$) estimating a tensor using a small number of linear measurements. Leveraging on recent developments in matrix completion, we give an alternating minimization based method to estimate the low-rank matrix, and formulate the tensor completion problem as a least-squares problem.

研究动机与目标

• 解决现有方法在一般离散字母表上学习离散乘积分布混合模型时面临的指数级复杂度或强假设问题。
• 为在 {1,…,ℓ}ⁿ 上学习 r 个乘积分布的混合模型，开发一种样本和时间复杂度均为多项式的算法，适用于任意 ℓ 和 r。
• 为参数估计和聚类提供有限样本保证，确保在 KL-散度框架下的一致性和准确性。
• 通过在不完整样本矩上使用交替最小化和线性测量的最小二乘估计，克服从不完整样本矩构造低秩张量的困难。
• 通过提供可扩展且可证明准确的学习算法，使在众包、推荐系统和布尔函数学习等实际应用中得以实现。

提出的方法

• 使用张量分解技术，从样本矩中恢复低秩结构，即使无法直接观测完整的矩张量。
• 通过交替最小化算法，利用非对角线元素估计低秩矩阵，以提高鲁棒性和收敛性。
• 将张量估计问题建模为仅使用矩张量的少量线性测量的最小二乘优化问题。
• 利用矩张量的谱分解，通过结构化矩阵恢复方法恢复潜在的混合成分及其权重。
• 通过估计的成分分布执行降维步骤，以高概率实现基于距离的聚类。
• 利用浓度不等式和矩阵扰动界，推导估计参数和聚类性能的有限样本误差界。

实验结果

研究问题

• RQ1 我们能否以多项式样本和时间复杂度学习一般离散字母表上的离散乘积分布混合模型？
• RQ2 如何从不完整或部分样本矩中估计低秩张量和矩阵，以确保一致性？
• RQ3 在真实与估计混合分布之间的 KL-散度下，参数估计的有限样本误差界是什么？
• RQ4 所提出的算法能否仅使用样本数据，实现对样本到其潜在成分的准确聚类？
• RQ5 在样本大小和模型参数满足何种条件下，可确保估计参数以高概率接近真实值？

主要发现

• 所提出的算法在 n, r, ℓ, 1/ε, 和 log(1/δ) 上均具有多项式样本和时间复杂度，适用于实际应用。
• 建立了有限样本保证：当通过 ε_M 控制参数估计误差时，真实与估计混合分布之间的 KL-散度被限制在 O(η) 以内。
• 对于聚类，当样本量超过 O(μ⁶r⁷n³σ₁(M₂)⁷w_max log(n/δ)/(w_min²σ_r(M₂)⁹ε̃²)) 时，该方法可确保同一成分的样本在投影空间中比不同成分的样本更接近。
• 参数估计误差满足 |ŵ_i - w_i| = O(ε_M) 和 |π̂_i^{(j),a} - π_i^{(j),a}| = O(ε_M√(σ₁(M₂)w_max r / w_min))，确保向真实参数收敛。
• 当 ε_w = O(η³)，ε_π = O(η² / n²ℓ⁶)，且 ε_M ≤ Cη² min{w_min^{1/2}/(n²ℓ⁶(σ₁(M₂)w_max r)^{1/2}), η} 时，该方法实现 O(η) 的 KL-散度界，表现出强大的有限样本性能。
• 理论分析证实，当样本量相对于模型复杂度和噪声水平足够大时，基于距离的聚类算法以高概率成功。