[论文解读] Large-Sample Learning of Bayesian Networks is NP-Hard

David Maxwell Chickering, Christopher Meek+1 more|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用 154

一句话总结

本文证明，在一般条件下，即使拥有独立性、推理或信息预言机，从大规模数据集学习贝叶斯网络仍是NP难问题，适用于具有有界父节点（k > 3）的离散变量贝叶斯网络，表明在大规模样本下使用一致评分准则时，寻找最优结构在计算上是不可行的。

ABSTRACT

In this paper, we provide new complexity results for algorithms that learn discrete-variable Bayesian networks from data. Our results apply whenever the learning algorithm uses a scoring criterion that favors the simplest model able to represent the generative distribution exactly. Our results therefore hold whenever the learning algorithm uses a consistent scoring criterion and is applied to a sufficiently large dataset. We show that identifying high-scoring structures is hard, even when we are given an independence oracle, an inference oracle, and/or an information oracle. Our negative results also apply to the learning of discrete-variable Bayesian networks in which each node has at most k parents, for all k > 3.

研究动机与目标

• 确立从大规模数据集学习贝叶斯网络结构的计算复杂度。
• 分析在大样本极限下，一致评分准则是否导致可解的学习问题。
• 研究预言机（独立性、推理、信息）对结构学习可解性的影响。
• 将困难性结果扩展至具有有界入度（每个节点最多有k个父节点，k > 3）的贝叶斯网络。

提出的方法

• 将学习问题形式化为在一致评分准则下识别得分最高的贝叶斯网络结构。
• 通过从已知的NP难问题进行归约，证明即使拥有预言机，结构学习依然困难。
• 分析大样本极限如何倾向于选择恰好表示真实分布的最简模型。
• 证明预言机无法降低学习问题的复杂度，NP难性得以保持。
• 通过构建尊重父节点约束的归约，将困难性结果扩展至入度有界的网络（k > 3）。

实验结果

研究问题

• RQ1 在一致评分准则下，从大规模数据集学习贝叶斯网络结构是否具有计算可解性？
• RQ2 拥有独立性预言机是否能降低贝叶斯网络结构学习的复杂度？
• RQ3 推理或信息预言机能否使大规模贝叶斯网络学习变得可解？
• RQ4 当将每个节点的最大父节点数限制为k > 3时，NP难性结果是否仍然成立？
• RQ5 在何种条件下，一致评分准则的简化偏置无法产生高效的算法？

主要发现

• 即使使用一致评分准则，从大规模数据集学习贝叶斯网络结构仍是NP难问题。
• 即使提供独立性预言机、推理预言机或信息预言机，NP难性依然存在。
• 该结果适用于每个节点最多有k个父节点的离散变量贝叶斯网络，且对所有k > 3均成立。
• 困难性源于最优结构对应于在大样本极限下恰好表示真实分布的最简模型。
• 计算不可解性是结构学习问题的本质属性，不会因拥有强大预言机而缓解。
• 研究结果意味着，在标准复杂度假设下，精确结构学习不太可能在多项式时间内求解。