[论文解读] SPFlow: An Easy and Extensible Library for Deep Probabilistic Learning using Sum-Product Networks

Alejandro Molina, Antonio Vergari+6 more|arXiv (Cornell University)|Jan 11, 2019

Bayesian Modeling and Causal Inference参考文献 8被引用 32

一句话总结

SPFlow 是一个开源的 Python 库，提供了一个灵活且可扩展的框架，用于构建、训练和部署求和-乘积网络（SPNs），支持高效的推理与学习。它允许用户通过领域特定语言（DSL）定义 SPNs，支持精确的概率推理（边缘分布、最大 MAP 估计、采样），使用 TensorFlow 进行参数学习，并通过函数式 API 支持自定义分布和操作的可扩展性。

ABSTRACT

We introduce SPFlow, an open-source Python library providing a simple interface to inference, learning and manipulation routines for deep and tractable probabilistic models called Sum-Product Networks (SPNs). The library allows one to quickly create SPNs both from data and through a domain specific language (DSL). It efficiently implements several probabilistic inference routines like computing marginals, conditionals and (approximate) most probable explanations (MPEs) along with sampling as well as utilities for serializing, plotting and structure statistics on an SPN. Moreover, many of the algorithms proposed in the literature to learn the structure and parameters of SPNs are readily available in SPFlow. Furthermore, SPFlow is extremely extensible and customizable, allowing users to promptly distill new inference and learning routines by injecting custom code into a lightweight functional-oriented API framework. This is achieved in SPFlow by keeping an internal Python representation of the graph structure that also enables practical compilation of an SPN into a TensorFlow graph, C, CUDA or FPGA custom code, significantly speeding-up computations.

研究动机与目标

• 为概率机器学习中的求和-乘积网络（SPNs）构建和部署提供一个用户友好且可扩展的库。
• 通过 TensorFlow 和优化后端，支持高效的确切推理（边缘分布、MPE、采样）和参数学习。
• 通过领域特定语言（DSL）和可定制的学习算法，支持数据驱动和结构化的 SPN 构建。
• 通过轻量级函数式 API，实现新节点类型和操作的无缝集成，提升可扩展性。
• 通过编译为 TensorFlow、C、CUDA 或 FPGA 代码，实现高性能部署。

提出的方法

• SPFlow 将 SPNs 表示为节点（求和、乘积、叶节点）的图结构，并使用基于 Python 的内部表示，支持运行时操作。
• 它通过函数式 API 将推理和学习操作封装为对图结构的 lambda 函数。
• 该库支持使用算术表达式（例如，0.4 * (Categorical(...) + 0.6 * ...)) 的 DSL 定义 SPNs，实现直观的构建方式。
• 它通过 TensorFlow 实现参数学习，支持自动微分和优化算法。
• 通过定义似然函数并使用 add_node_likelihood 注册，可添加自定义叶分布（例如，帕累托分布）。
• SPNs 可编译为 TensorFlow 图、C 代码或 CUDA/FPGA 代码，以实现高性能推理。

实验结果

研究问题

• RQ1 如何设计一个灵活且可扩展的库，以支持标准和新型的 SPN 推理与学习操作？
• RQ2 Python 中的领域特定语言（DSL）是否能够实现直观的 SPN 构建，同时保持计算效率？
• RQ3 SPFlow 在不同 SPN 架构上，对精确概率推理（边缘分布、MPE、采样）和参数学习的效率如何？
• RQ4 SPFlow 在不修改核心组件的前提下，能够多大程度上支持新分布和操作的扩展？
• RQ5 SPFlow 是否能够通过编译为低级代码（C、CUDA、FPGA）实现高性能部署？

主要发现

• SPFlow 支持使用简洁、可读的 DSL 构建 SPNs，使用户能以极少代码定义复杂的 SPN 结构。
• 该库支持高效的精确推理，包括边缘似然、MPE 和祖先采样，在不同 SPN 结构上均表现出一致的性能。
• 通过 TensorFlow 实现的参数学习显著提升了似然性能，例如，测试数据上的对数似然从 -1.91 提升至 -1.38。
• 通过函数式 API 可无缝集成自定义分布（如帕累托叶节点），且在测试输入上验证了正确的似然计算。
• SPFlow 支持将 SPNs 编译为 TensorFlow 图和低级代码（C、CUDA、FPGA），实现高性能推理。
• 该库的可扩展性支持与外部工具（如 PyMC 或 Pyro）的集成，拓展了其生态系统潜力。