[论文解读] Learning Arbitrary Sum-Product Network Leaves with Expectation-Maximization

Mattia Desana, Christoph Schnörr|arXiv (Cornell University)|Apr 25, 2016

Bayesian Modeling and Causal Inference参考文献 20被引用 4

一句话总结

该论文提出了一种期望最大化（EM）框架，用于在求和-乘积网络（SPNs）中学习复杂且任意的叶节点分布，将叶节点参数更新转化为加权最大似然问题。该方法实现了即使在部分优化情况下仍能保证收敛的高效线性时间训练，相较于使用树状结构图模型作为叶节点的最先进密度估计方法，在显著更少参数下表现更优。

ABSTRACT

Sum-Product Networks with complex probability distribution at the leaves have been shown to be powerful tractable-inference probabilistic models. However, while learning the internal parameters has been amply studied, learning complex leaf distribution is an open problem with only few results available in special cases. In this paper we derive an efficient method to learn a very large class of leaf distributions with Expectation-Maximization. The EM updates have the form of simple weighted maximum likelihood problems, allowing to use any distribution that can be learned with maximum likelihood, even approximately. The algorithm has cost linear in the model size and converges even if only partial optimizations are performed. We demonstrate this approach with experiments on twenty real-life datasets for density estimation, using tree graphical models as leaves. Our model outperforms state-of-the-art methods for parameter learning despite using SPNs with much fewer parameters.

研究动机与目标

• 为解决求和-乘积网络（SPNs）中学习复杂且任意叶节点分布这一开放问题，否则SPNs仅限于使用简单分布（如指示函数）。
• 开发一种系统化且可扩展的方法，用于训练高容量叶节点分布，同时保持推理的可 tractable 性。
• 使任何适用于最大似然估计（精确或近似）的分布均可作为SPN的叶节点。
• 证明在叶节点中建模复杂性可减少对大型、深层SPN结构的需求。

提出的方法

• 通过建立SPN结构与其中编码的混合模型子集之间的理论联系，推导出一种新颖的SPN用EM算法，从而实现通过加权最大似然进行叶节点更新。
• 将叶节点参数的M步转化为加权最大似然问题，其中权重由SPN的结构和激活概率推导得出。
• 利用SPN输出对叶节点的导数，计算每个叶节点分布更新的有效样本权重。
• 通过保证每次EM步骤中均有改进，确保即使M步仅部分优化，也能实现收敛。
• 当叶节点分布属于指数族时，利用其闭式解实现高效优化。
• 将该方法应用于以树状结构图模型作为叶节点的SPNs，实现灵活且高容量的密度建模。

实验结果

研究问题

• RQ1 我们能否通过系统化的EM框架在SPNs中学习复杂且任意的叶节点分布？
• RQ2 将叶节点更新转化为加权最大似然问题，是否能实现高效且可扩展的训练？
• RQ3 在参数更少的情况下，使用复杂可训练叶节点的SPNs是否能在密度估计中超越标准SPNs（使用简单叶节点）？
• RQ4 当M步仅进行部分优化时，EM算法的收敛性是否仍能保证？
• RQ5 该方法是否可广泛应用于各类分布，包括需要近似最大似然估计的分布？

主要发现

• 所提出的EM方法在SPN边数上具有线性计算成本，实现了复杂叶节点分布的高效训练。
• 即使M步仅部分优化，也能保证收敛，使该方法在近似推理场景下具有鲁棒性和实用性。
• 在二十个真实世界密度估计数据集上，使用树状结构图模型作为叶节点的模型，尽管参数显著更少，仍优于最先进参数学习方法。
• 该方法支持任何支持最大似然学习的分布（包括近似方法），极大扩展了适用叶节点模型的范围。
• 结果表明，建模能力可从SPN结构转移到叶节点分布，从而减少对大型、深层SPN架构的需求。
• 对于指数族叶节点，M步具有唯一全局最优解，支持高效闭式更新。