[论文解读] Learning Arithmetic Circuits

Daniel Lowd, Pedro Domingos|arXiv (Cornell University)|Jun 13, 2012

Bayesian Modeling and Causal Inference参考文献 19被引用 70

一句话总结

本文提出通过在电路规模上施加惩罚来学习算术电路，以直接优化高效推理，结合贝叶斯网络学习与电路编译。通过将电路规模作为推理成本的代理，该方法学习到具有高树宽的可 tractable 模型，在准确率和速度上均优于标准上下文特定贝叶斯网络。

ABSTRACT

Graphical models are usually learned without regard to the cost of doing inference with them. As a result, even if a good model is learned, it may perform poorly at prediction, because it requires approximate inference. We propose an alternative: learning models with a score function that directly penalizes the cost of inference. Specifically, we learn arithmetic circuits with a penalty on the number of edges in the circuit (in which the cost of inference is linear). Our algorithm is equivalent to learning a Bayesian network with context-specific independence by greedily splitting conditional distributions, at each step scoring the candidates by compiling the resulting network into an arithmetic circuit, and using its size as the penalty. We show how this can be done efficiently, without compiling a circuit from scratch for each candidate. Experiments on several real-world domains show that our algorithm is able to learn tractable models with very large treewidth, and yields more accurate predictions than a standard context-specific Bayesian network learner, in far less time.

研究动机与目标

• 为了解决即使模型准确，学习到的图形模型在推理上仍低效的问题。
• 开发一种学习框架，通过惩罚模型复杂度，直接优化可 tractable 推理。
• 将电路编译整合到学习过程中，以指导结构选择。
• 实现高树宽模型的可扩展学习，同时保持推理的 tractability。
• 在准确率和运行时间上均优于标准上下文特定贝叶斯网络学习器。

提出的方法

• 该方法使用一个评分函数，结合模型似然与算术电路中边数的惩罚。
• 在每个学习步骤中，通过将生成的贝叶斯网络编译为算术电路来评估条件分布中的候选分割。
• 编译后电路的大小被用作推理成本的代理，指导贪婪结构搜索。
• 该算法通过增量更新电路结构，避免对每个候选结构进行完整重新编译。
• 该方法利用了算术电路中推理成本与边数成线性关系的事实。
• 它将贪婪贝叶斯网络学习与电路编译相结合，以平衡模型拟合与可 tractability。

实验结果

研究问题

• RQ1 我们能否学习到既准确又推理高效的图形模型？
• RQ2 如何将推理成本直接整合到模型学习过程中？
• RQ3 在结构学习中，能否将电路规模作为推理复杂度的有效代理？
• RQ4 将电路编译整合到学习过程中，是否能带来优于标准贝叶斯网络学习器的性能？
• RQ5 我们能否在保持可 tractability 的同时，将学习扩展到高树宽模型？

主要发现

• 所提出的方法学习到的算术电路树宽显著高于标准上下文特定贝叶斯网络学习器。
• 在真实世界数据集上，所学习的模型在预测准确率上优于基线贝叶斯网络学习器。
• 该方法的运行速度比标准上下文特定贝叶斯网络学习算法快几个数量级。
• 使用电路规模作为惩罚项，能有效平衡模型拟合与推理效率。
• 增量编译技术使候选结构的高效评估成为可能，无需完整重新编译。
• 实证结果证实，该方法具有良好的可扩展性，并能生成适用于现实世界应用的可 tractable 模型。