[论文解读] Learning Mixtures of Smooth Product Distributions: Identifiability and Algorithm

Nikolaos Kargas, Nicholas D. Sidiropoulos|arXiv (Cornell University)|Apr 2, 2019

Liver Disease Diagnosis and Treatment被引用 14

一句话总结

本文提出了一种基于张量分解的两阶段方法，用于在不假设分量密度为参数形式的前提下，学习非参数乘积分布的混合模型。通过利用典型多线性分解（CPD）和傅里叶采样等信号处理工具，该方法能够唯一识别并从数据中恢复平滑的条件密度，在合成数据和真实数据集上，其聚类准确率和模型拟合度均优于参数化的EM方法，尤其在分量密度平滑时表现更优。

ABSTRACT

We study the problem of learning a mixture model of non-parametric product distributions. The problem of learning a mixture model is that of finding the component distributions along with the mixing weights using observed samples generated from the mixture. The problem is well-studied in the parametric setting, i.e., when the component distributions are members of a parametric family -- such as Gaussian distributions. In this work, we focus on multivariate mixtures of non-parametric product distributions and propose a two-stage approach which recovers the component distributions of the mixture under a smoothness condition. Our approach builds upon the identifiability properties of the canonical polyadic (low-rank) decomposition of tensors, in tandem with Fourier and Shannon-Nyquist sampling staples from signal processing. We demonstrate the effectiveness of the approach on synthetic and real datasets.

研究动机与目标

• 解决在分量分布为非参数乘积分布而非假设为高斯等参数族的情况下学习混合模型的挑战。
• 建立在平滑、带限分量密度可唯一恢复的可识别性条件下，从观测样本中恢复的理论条件。
• 开发一种实用的两阶段算法，结合张量分解与插值技术，以准确恢复条件密度。
• 在聚类准确率和模型拟合度方面，与基于参数化EM的方法相比表现更优，尤其当分量密度平滑或与高斯假设不匹配时。

提出的方法

• 该方法利用低维边缘密度直方图估计所形成的张量的典型多线性分解（CPD），在较弱的秩条件下利用CPD的可识别性特性。
• 将联合分布建模为乘积分布的混合，并构建一个耦合张量分解问题，以同时估计分量密度和混合权重。
• 该方法应用傅里叶采样和香农-奈奎斯特采样原理，确保平滑（带限）密度可通过离散样本插值得到重建。
• 提出一种交替优化算法以求解耦合张量分解问题，迭代地优化分量密度估计和混合权重。
• 该方法利用从数据中可可靠估计边缘分布的事实，通过张量结构实现全条件密度的稳定恢复。
• 通过证明当分量分布非高斯或非平滑时，性能仍能平稳下降，且在分量分布非高斯时优于EM方法，从而处理非高斯和非平滑密度。

实验结果

研究问题

• RQ1 在分量密度具有平滑性假设的前提下，能否从观测样本中唯一识别出非参数乘积分布混合模型？
• RQ2 张量分解技术如何被调整以在具有隐式分量指标的混合模型中恢复平滑的非参数分量密度？
• RQ3 当真实分量密度并非高斯分布时，所提方法在聚类准确率和模型拟合度方面相较于基于参数化EM的方法，优势程度如何？
• RQ4 傅里叶采样和带限重建等信号处理工具在本设置中如何促进平滑密度的可识别性与恢复？
• RQ5 在条件独立性和平滑性假设仅近似成立的真实世界数据中，该方法表现如何？

主要发现

• 即使EM方法学习到的模型KL散度更低，所提方法在聚类准确率上仍可达到与EM GMM相当或更优，表明其对潜在分量结构的恢复更优。
• 在具有平滑伽马分布和拉普拉斯分布分量密度的合成数据上，随着样本量增加，该方法在KL散度和聚类准确率上均显著优于EM GMM。
• 对于条件独立的非高斯分量密度（如高斯混合或伽马分布混合），该方法在不假设参数形式的前提下，成功恢复了真实密度。
• 在真实世界UCI数据集上，该方法在7个数据集中的5个上优于EM GMM和K-means，聚类准确率表现更优，证明了其对模型误设的鲁棒性。
• 即使分量密度不平滑（如拉普拉斯分布），该方法仍表现良好，但当密度为带限且平滑时性能最佳，验证了理论平滑性假设的有效性。
• 耦合张量分解框架通过插值实现了分量密度的稳定且准确恢复，且在多个合成与真实数据实验中均观察到收敛。