[论文解读] Bayesian Learning of Sum-Product Networks

Martin Trapp, Robert Peharz+3 more|arXiv (Cornell University)|May 26, 2019

Bayesian Modeling and Causal Inference参考文献 49被引用 8

一句话总结

本文提出了一种基于贝叶斯框架的结构化和积网络（SPN）结构学习方法，通过将问题分解为构建计算图与通过贝叶斯推断学习作用域函数两个步骤。该方法通过单一后验推断实现联合结构与参数学习，在测试似然性、缺失数据鲁棒性以及无需验证集的自动超参数调优方面表现优异，尤其在低数据场景下优于贪心基线方法。

ABSTRACT

Sum-product networks (SPNs) are flexible density estimators and have received significant attention due to their attractive inference properties. While parameter learning in SPNs is well developed, structure learning leaves something to be desired: Even though there is a plethora of SPN structure learners, most of them are somewhat ad-hoc and based on intuition rather than a clear learning principle. In this paper, we introduce a well-principled Bayesian framework for SPN structure learning. First, we decompose the problem into i) laying out a computational graph, and ii) learning the so-called scope function over the graph. The first is rather unproblematic and akin to neural network architecture validation. The second represents the effective structure of the SPN and needs to respect the usual structural constraints in SPN, i.e. completeness and decomposability. While representing and learning the scope function is somewhat involved in general, in this paper, we propose a natural parametrisation for an important and widely used special case of SPNs. These structural parameters are incorporated into a Bayesian model, such that simultaneous structure and parameter learning is cast into monolithic Bayesian posterior inference. In various experiments, our Bayesian SPNs often improve test likelihoods over greedy SPN learners. Further, since the Bayesian framework protects against overfitting, we can evaluate hyper-parameters directly on the Bayesian model score, waiving the need for a separate validation set, which is especially beneficial in low data regimes. Bayesian SPNs can be applied to heterogeneous domains and can easily be extended to nonparametric formulations. Moreover, our Bayesian approach is the first, which consistently and robustly learns SPN structures under missing data.

研究动机与目标

• 解决现有SPN结构学习器缺乏明确学习原则的问题，这些方法通常基于启发式和临时策略。
• 在单一贝叶斯推断框架内统一结构与参数学习，确保模型优化的系统性和一致性。
• 通过贝叶斯先验和自动正则化，提升泛化能力与鲁棒性，特别是在低数据和缺失数据场景下。
• 通过模型评分实现超参数的直接评估，无需单独的验证集。
• 通过灵活且模块化的贝叶斯设计，将SPN学习扩展至异质领域和非参数形式。

提出的方法

• 将SPN结构学习分解为两个阶段：(1) 定义计算图以指定求和、乘积和叶节点的拓扑结构，(2) 学习一个作用域函数以将变量作用域分配给节点。
• 为树状区域图提出作用域函数的自然参数化方式，通过类别潜变量实现高效的贝叶斯推断。
• 使用吉布斯采样对作用域函数、参数和潜变量进行整体贝叶斯后验推断，采用共轭先验以保证可计算性。
• 将结构约束（完备性与可分解性）直接编码到作用域函数参数化中，以确保生成有效的SPN结构。
• 采用分层先验结构，支持非参数扩展，并能稳健建模复杂数据分布。
• 通过联合推断结构、参数与缺失值，实现对缺失数据的支持，无需数据插补。

实验结果

研究问题

• RQ1 是否存在一种系统性、全局最优的SPN结构学习目标，而非依赖启发式或局部优化策略？
• RQ2 如何在单一贝叶斯推断框架内统一结构与参数学习，以提升泛化能力并减少过拟合？
• RQ3 贝叶斯SPN在缺失数据条件下是否仍能保持性能，特别是在传统方法失效或需插补时？
• RQ4 在测试似然性方面，贝叶斯SPN相较于贪心SPN学习器能多大程度上实现性能提升，尤其是在低数据场景下？
• RQ5 贝叶斯框架如何自然支持SPN的非参数扩展与异质数据建模？

主要发现

• 在多个数据集上，贝叶斯SPN的测试对数似然得分显著优于贪心学习器（如LearnSPN和ID-SPN），在Dermatology数据集上实现了2.7%的提升。
• 在Autism数据集上，贝叶斯SPN大幅超越所有基线方法，表明其相比现有方法具有更低的过拟合风险。
• 该方法在缺失数据条件下表现出强鲁棒性：与LearnSPN和ID-SPN相比，即使在使用k-NN插补时性能也显著下降，贝叶斯SPN仍保持稳定性能。
• 贝叶斯框架允许通过模型评分直接评估超参数，无需单独的验证集，这在低数据场景下尤为有益。
• 在异质数据实验中，贝叶斯SPN的表现与专用模型（如MSPN和ABDA）相当，且在某些数据集（如Autism）上表现更优。
• 通过分层先验与变分推断，该方法可自然扩展至非参数形式，实现可扩展且灵活的建模。