[论文解读] FSPN: A New Class of Probabilistic Graphical Model

Zi‐Niu Wu, Rong Zhu+6 more|arXiv (Cornell University)|Nov 18, 2020

Bayesian Modeling and Causal Inference参考文献 46被引用 6

一句话总结

FSPN 提出了一种新颖的概率图模型，通过自适应地结合贝叶斯网络因子分解（用于高度相关变量）与求和-乘积网络因子分解（用于弱相关变量），在实现高估计精度的同时，达到近线性的推理速度。该模型在基准数据集上的对数似然、推理速度（最高快680倍）和模型紧凑性方面均优于现有模型。

ABSTRACT

We introduce factorize sum split product networks (FSPNs), a new class of probabilistic graphical models (PGMs). FSPNs are designed to overcome the drawbacks of existing PGMs in terms of estimation accuracy and inference efficiency. Specifically, Bayesian networks (BNs) have low inference speed and performance of tree structured sum product networks(SPNs) significantly degrades in presence of highly correlated variables. FSPNs absorb their advantages by adaptively modeling the joint distribution of variables according to their dependence degree, so that one can simultaneously attain the two desirable goals: high estimation accuracy and fast inference speed. We present efficient probability inference and structure learning algorithms for FSPNs, along with a theoretical analysis and extensive evaluation evidence. Our experimental results on synthetic and benchmark datasets indicate the superiority of FSPN over other PGMs.

研究动机与目标

• 为解决现有概率图模型（PGMs）中估计精度与推理效率之间的权衡问题。
• 克服贝叶斯网络（BNs）在推理速度上的局限性，以及求和-乘积网络（SPNs）在高度相关变量上表现不佳的问题。
• 设计一种统一的、自适应的PGM框架，根据变量依赖程度动态选择因子分解策略。
• 同时实现高估计精度与可 tractable 的推理速度。

提出的方法

• FSPN 根据变量依赖程度自适应地分解联合概率密度函数（PDF）：对高度相关的变量采用贝叶斯网络的条件因子分解，对弱相关的变量则采用类似SPN的局部独立性因子分解。
• 采用降维技术（如主成分分析，PCA）对高度依赖的变量组的多变量PDF进行建模。
• 在树状结构网络中递归应用条件因子分解与局部因子分解，实现高效的边缘概率推理。
• 提出一种基于最大似然估计（MLE）的局部最优结构学习算法，用于高效构建FSPN。
• 推理算法的时间复杂度接近线性，与节点数量成正比，确保了极高的可 tractability。
• FSPN 将树状SPN和离散BN作为特例进行推广，使其成为一种通用的PGM框架。

实验结果

研究问题

• RQ1 一种结合BN与SPN因子分解策略的混合PGM能否同时实现高估计精度与快速推理？
• RQ2 基于变量依赖程度的自适应因子分解相较于固定结构的PGM，能否显著提升建模性能？
• RQ3 在混合PGM中，模型表达能力、推理速度与紧凑性之间的权衡关系如何？
• RQ4 FSPN能否在真实世界基准数据集上实现对数似然与推理时间的最先进性能？

主要发现

• 在18个基准数据集中的14个上，FSPN取得了最佳的对数似然得分，优于LearnSPN、BayesSPN、MT、WinMine、ECNet和EM-PSDD。
• 平均而言，FSPN相较于SPN-BTB、SPGM和BN-DAG，KL散度降低高达50%，表明其估计精度更优。
• FSPN的推理速度最高比BN-DAG快680倍，比SPN-BTB快261倍，比BN-Tree快206倍，展现出卓越的推理效率。
• FSPN模型的大小比其他模型小两个数量级，且训练时间比大多数基线模型快数倍。
• 在Netflix数据集上，FSPN的测试对数似然达到-56.36，优于SPN-BTB（-57.12）和SPGM（-57.33）。
• 在DNA数据集上，FSPN的对数似然为-80.65，显著优于SPN-BTB（-80.97）和ID-SPN（-82.52）。