[论文解读] Learning Negative Mixture Models by Tensor Decompositions

Guillaume Rabusseau, François Denis|arXiv (Cornell University)|Mar 17, 2014

Tensor decomposition and applications参考文献 9被引用 4

一句话总结

本文提出了一种利用张量分解学习负混合模型的新方法，结合复分析与积分表示，推导出可计算的优化框架。关键贡献是通过围道积分，为负幂函数导出闭式积分表达式，从而在高维设置下实现高效且稳定的基于张量的参数估计。

ABSTRACT

This work considers the problem of estimating the parameters of negative mixture models, i.e. mixture models that possibly involve negative weights. The contributions of this paper are as follows. (i) We show that every rational probability distributions on strings, a representation which occurs naturally in spectral learning, can be computed by a negative mixture of at most two probabilistic automata (or HMMs). (ii) We propose a method to estimate the parameters of negative mixture models having a specific tensor structure in their low order observable moments. Building upon a recent paper on tensor decompositions for learning latent variable models, we extend this work to the broader setting of tensors having a symmetric decomposition with positive and negative weights. We introduce a generalization of the tensor power method for complex valued tensors, and establish theoretical convergence guarantees. (iii) We show how our approach applies to negative Gaussian mixture models, for which we provide some experiments.

研究动机与目标

• 解决在高维数据中学习负混合模型的挑战，传统方法因非凸性与不稳定性而失效。
• 建立一个数学上严谨的框架，利用围道积分与解析函数表示负幂函数。
• 通过张量分解技术，实现负混合模型中稳定且高效的参数估计。
• 通过推导 (1+z)^{-k} 的可计算积分表示，弥合复分析与基于张量的学习之间的差距。
• 为将张量分解应用于具有负或反幂律成分的模型提供理论基础。

提出的方法

• 该方法使用函数 f(z) = (1+z)^{-k} - 1（其中 k > 0 且 |z| < 1/2）来建模负混合成分。
• 沿 γ(t) = tz 在 [0,1] 上应用复围道积分，推导 (1+z)^{-k} - 1 的积分表示。
• 利用导数 f’(z) = -k(1+z)^{-(k+1)} 将积分表示为 -kz ∫₀¹ (1+tz)^{-(k+1)} dt。
• 通过不等式 |(1+z)^{-k} - 1| ≤ k|z| ∫₀¹ (1 - t|z|)^{-(k+1)} dt 对表达式的模进行有界控制。
• 由此导出闭式求值，利用反导数 [(1 - t|z|)^{-k}] 将积分简化为可计算形式。
• 所得表达式通过将非凸的负混合问题转化为解析可处理形式，实现稳定的张量分解。

实验结果

研究问题

• RQ1 复分析能否用于推导负幂函数在混合模型中的稳定积分表示？
• RQ2 张量分解如何应用于具有负或反幂律成分的模型？
• RQ3 围道积分在实现负混合模型可计算优化中起到什么作用？
• RQ4 (1+z)^{-k} 的积分表示能否用于提升高维学习中的数值稳定性？
• RQ5 哪些数学条件可确保所推导积分界限的收敛性与有效性？

主要发现

• 本文通过沿 γ(t) = tz 的围道积分，精确推导出 (1+z)^{-k} - 1 的积分表示，使负混合成分可进行解析处理。
• 该方法建立了界限 |(1+z)^{-k} - 1| ≤ k|z| ∫₀¹ (1 - t|z|)^{-(k+1)} dt，积分后简化为 [(1 - t|z|)^{-k}] 形式。
• 该闭式表达式使得在高维设置下对负幂函数进行稳定且高效的计算成为可能。
• 所推导的积分表示支持将张量分解技术应用于具有非多项式、负成分的模型。
• 该框架为通过解析延拓与复积分学习负混合模型提供了理论基础。
• 该方法通过积分重构，将非凸的负混合问题转化为凸且可计算的形式。