[论文解读] Conditional Sum-Product Networks: Imposing Structure on Deep Probabilistic Architectures

Xiaoting Shao, Alejandro Molina+5 more|arXiv (Cornell University)|May 21, 2019

Bayesian Modeling and Causal Inference参考文献 40被引用 15

一句话总结

该论文提出条件求和-乘积网络（CSPNs），一种结合神经网络与结构化SPN的深度可 tractable 概率模型，用于建模复杂、多变量的条件分布 $P(\mathbf{Y}|\mathbf{X})$，同时保持可 tractable 推断。通过利用深度网络对SPN参数进行条件化，并通过随机条件相关性检验（RCoT）学习结构，CSPNs在多标签图像分类任务中达到最先进性能，优于均场模型和混合密度网络，在似然度与准确率方面均有提升。

ABSTRACT

Probabilistic graphical models are a central tool in AI; however, they are generally not as expressive as deep neural models, and inference is notoriously hard and slow. In contrast, deep probabilistic models such as sum-product networks (SPNs) capture joint distributions in a tractable fashion, but still lack the expressive power of intractable models based on deep neural networks. Therefore, we introduce conditional SPNs (CSPNs), conditional density estimators for multivariate and potentially hybrid domains which allow harnessing the expressive power of neural networks while still maintaining tractability guarantees. One way to implement CSPNs is to use an existing SPN structure and condition its parameters on the input, e.g., via a deep neural network. This approach, however, might misrepresent the conditional independence structure present in data. Consequently, we also develop a structure-learning approach that derives both the structure and parameters of CSPNs from data. Our experimental evidence demonstrates that CSPNs are competitive with other probabilistic models and yield superior performance on multilabel image classification compared to mean field and mixture density networks. Furthermore, they can successfully be employed as building blocks for structured probabilistic models, such as autoregressive image models.

研究动机与目标

• 解决概率模型中表达能力、可解释性与可 tractable 推断之间的权衡问题。
• 将求和-乘积网络（SPNs）扩展至条件分布 $P(\mathbf{Y}|\mathbf{X})$，同时保持可 tractable 推断。
• 使深度神经网络能够以保留条件独立性结构的方式参数化SPN结构。
• 开发一种适用于异质数据与条件依赖关系的CSPN结构学习算法。
• 展示CSPNs作为构建模块在结构化概率模型（如自回归图像生成器）中的应用。

提出的方法

• 通过引入门控节点作为具有函数型混合系数的混合模型，定义CSPNs，实现SPN的条件参数化。
• 提出基于随机条件相关性检验（RCoT）的结构学习算法，用于识别数据中的条件独立关系。
• 通过使用深度神经网络参数化SPN结构，构建神经CSPNs，实现端到端训练并提升模型容量。
• 通过使用条件SPN的乘积对图像分布进行分块因子分解，引入自回归CSPNs（ABCSPNs），实现结构化生成。
• SPN结构通过随机SPN生成（Peharz et al., 2019）初始化，随后通过神经网络输出对输入进行条件化。
• 采用最大似然方法结合基于梯度的优化进行模型训练，MPE估计通过最大乘积近似获得。

实验结果

研究问题

• RQ1 我们能否在保持可 tractable 推断与结构可解释性的同时，将SPNs扩展至建模条件分布 $P(\mathbf{Y}|\mathbf{X})$？
• RQ2 如何在不依赖先验假设的前提下，以数据驱动方式学习 $\mathbf{Y}$ 在给定 $\mathbf{X}$ 条件下的条件独立结构？
• RQ3 神经网络能否被有效用于参数化SPN结构，以增强表示能力而不牺牲可 tractable 性？
• RQ4 CSPNs能否作为模块化组件，用于构建更深层、更结构化的概率模型，如自回归图像生成器？
• RQ5 在模型中引入条件依赖关系是否能显著提升性能，超越均场与混合密度网络基线？

主要发现

• 在CelebA数据集上，CSPN实现了-10.8的条件对数似然与87.8%的平均准确率，优于均场模型（CLL: -12.1，准确率：86.6%）与混合密度网络（CLL: -11.6，准确率：85.3%）基线。
• 在多标签MNIST与Fashion-MNIST上，CSPN实现了78.4%的准确率（均场模型为74.1%，MDN为76.4%），且对数似然显著更高。
• 尽管仅使用约400k参数，CSPN在CelebA上仍取得了具有竞争力的性能，优于先前工作的更复杂架构。
• 基于RCoT的结构学习方法成功识别了异质数据中的条件独立关系，实现了更紧凑且可解释的CSPN结构。
• 神经CSPNs在建模条件依赖关系方面表现更优，相比独立（均场）与基于混合的方法，在似然度与准确率上均有显著提升。
• ABCSPNs通过自回归CSPN对图像分块建模，成功生成了与PixelCNN++相当的高质量图像样本，证明了CSPNs作为结构化模型中构建模块的可行性。