[论文解读] A Unified Approach for Learning the Parameters of Sum-Product Networks

Han Zhao, Pascal Poupart+1 more|arXiv (Cornell University)|Jan 3, 2016

Product Development and Customization参考文献 24被引用 25

一句话总结

本文提出了一种基于最大似然估计的统一框架，用于学习Sum-Product Network (SPN) 参数，表明 SPN 等价于树的混合模型，并将参数学习形式化为符号程序。该文引入两种高效算法——顺序单项式逼近（SMA）与凸-凹程序（CCCP），实现乘法更新并避免投影步骤，实验表明 CCCP 在收敛速度和稳定性上优于 PGD、EG 和 SMA，且在用于微调 SPN 结构学习时，性能超越了当前最先进方法。

ABSTRACT

We present a unified approach for learning the parameters of Sum-Product networks (SPNs). We prove that any complete and decomposable SPN is equivalent to a mixture of trees where each tree corresponds to a product of univariate distributions. Based on the mixture model perspective, we characterize the objective function when learning SPNs based on the maximum likelihood estimation (MLE) principle and show that the optimization problem can be formulated as a signomial program. We construct two parameter learning algorithms for SPNs by using sequential monomial approximations (SMA) and the concave-convex procedure (CCCP), respectively. The two proposed methods naturally admit multiplicative updates, hence effectively avoiding the projection operation. With the help of the unified framework, we also show that, in the case of SPNs, CCCP leads to the same algorithm as Expectation Maximization (EM) despite the fact that they are different in general.

研究动机与目标

• 为解决投影梯度下降（PGD）与指数梯度（EG）在 SPN 参数学习中的局限性，如收敛缓慢及依赖投影步骤。
• 基于符号规划与混合模型，将现有 SPN 参数学习方法——PGD、EG、SMA 与 EM——统一于单一理论框架之下。
• 利用顺序单项式逼近（SMA）与凸-凹程序（CCCP）开发高效、无投影的优化算法。
• 证明 CCCP 在 SPN 中与 EM 算法数学等价，尽管二者一般形式不同，并展示 CCCP 的优越经验性能。
• 通过在结构学习后应用 CCCP 作为微调步骤，提升 SPN 建模精度，实现更小模型下的最先进性能。

提出的方法

• 证明任意完整且可分解的 SPN 等价于一组树的混合模型，每棵树对应一组单变量分布的乘积。
• 在最大似然估计（MLE）下，将 SPN 参数学习形式化为符号程序（SP），从而支持凸松弛技术。
• 将符号程序转化为凸-凹函数之差（DCP）形式，以适用于 CCCP 与 SMA。
• 开发两种优化算法：SMA 利用顺序单项式逼近，CCCP 利用凸-凹分解，两者均支持乘法更新。
• 证明 SPN 的 CCCP 算法在数学上等价于 EM 算法，尽管其一般形式不同。
• 在结构学习（如 LearnSPN）之后，将 CCCP 作为微调程序应用，以提升模型似然度而不增加模型大小。

实验结果

研究问题

• RQ1 SPN 参数学习能否基于混合模型与符号规划，在单一理论框架下统一？
• RQ2 SMA 与 CCCP 在收敛速度、稳定性与似然性能方面，相较于 PGD 与 EG 如何？
• RQ3 SPN 的 CCCP 算法是否等价于 EM？若等价，其成立条件为何？
• RQ4 CCCP 是否能显著提升现有 SPN 结构学习算法（如 LearnSPN）的性能？
• RQ5 所提出的框架是否能实现高效、无投影的优化，同时满足参数正性约束？

主要发现

• 在 20 个基准数据集上，CCCP 的收敛速度与稳定性均优于 PGD、EG 与 SMA，测试对数似然值具有统计显著性提升。
• 在 20 个数据集中的 16 个上，CCCP 的平均测试对数似然值高于 PGD、EG 与 SMA，且在 10 个数据集上达到最高对数似然值。
• 在用于微调 LearnSPN 时，CCCP 在 7 个数据集上性能达到或超越最先进 ID-SPN 方法，且使用了更小的 SPN 模型。
• 在 LearnSPN 后应用 CCCP 可获得更优的验证集对数似然分数，表明泛化能力提升并减少过拟合。
• 该框架表明，PGD 与 EG 是符号程序的一阶近似，而 SMA 与 CCCP 是更高阶的松弛形式，从而解释了其相对性能差异。
• CCCP 在数学上等价于 SPN 中的 EM 算法，解决了以往 EM 更新公式中的不一致性，并验证了其正确性。