[论文解读] Algorithms and Complexity Results for Exact Bayesian Structure Learning

Sebastian Ordyniak, Stefan Szeider|arXiv (Cornell University)|Mar 15, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用 7

一句话总结

本文研究了在超图结构上施加结构约束下的精确贝叶斯结构学习的复杂性，表明当超图结构的树宽有界时，可实现多项式时间内的精确学习；当最大度也受限制时，可实现线性时间。结果表明，即使在最多允许k次修改的局部搜索变体中，树宽和最大度约束对可解性也都是必不可少的。

ABSTRACT

Bayesian structure learning is the NP-hard problem of discovering a Bayesian network that optimally represents a given set of training data. In this paper we study the computational worst-case complexity of exact Bayesian structure learning under graph theoretic restrictions on the super-structure. The super-structure (a concept introduced by Perrier, Imoto, and Miyano, JMLR 2008) is an undirected graph that contains as subgraphs the skeletons of solution networks. Our results apply to several variants of score-based Bayesian structure learning where the score of a network decomposes into local scores of its nodes. Results: We show that exact Bayesian structure learning can be carried out in non-uniform polynomial time if the super-structure has bounded treewidth and in linear time if in addition the super-structure has bounded maximum degree. We complement this with a number of hardness results. We show that both restrictions (treewidth and degree) are essential and cannot be dropped without loosing uniform polynomial time tractability (subject to a complexity-theoretic assumption). Furthermore, we show that the restrictions remain essential if we do not search for a globally optimal network but we aim to improve a given network by means of at most k arc additions, arc deletions, or arc reversals (k-neighborhood local search).

研究动机与目标

• 分析在超图结构上施加图论约束下的精确贝叶斯结构学习的计算复杂性。
• 确定超图结构的树宽和最大度有界是否能实现高效的确化学习。
• 研究在全局优化和局部搜索设置下，这些约束对可解性的必要性。
• 建立复杂性理论下限，表明若放弃任一约束，将导致不可解性。

提出的方法

• 作者将贝叶斯结构学习建模为在包含所有有效贝叶斯网络骨架的无向超图结构上的问题。
• 他们分析了基于评分的学习方法，其中网络评分可分解为局部节点评分。
• 论文使用树分解上的动态规划，在树宽有界时实现非均匀多项式时间复杂度。
• 通过引入额外的结构约束，当最大度也受限制时，将时间复杂度降低至线性时间。
• 分析扩展至k邻域局部搜索，目标是通过最多k次弧修改来改进给定网络。
• 通过复杂性理论假设推导出难解性结果，表明这两个约束对可解性都是必要的。

实验结果

研究问题

• RQ1 当超图结构的树宽有界时，能否在多项式时间内求解精确贝叶斯结构学习？
• RQ2 树宽和最大度均受限制的组合是否足以实现线性时间内的精确学习？
• RQ3 允许最多k次弧修改以改进网络的局部搜索变体的复杂性如何？
• RQ4 树宽和最大度约束是否都对可解性必不可少，或可放宽其中一个？
• RQ5 在精确结构学习中放弃任一约束的复杂性理论影响是什么？

主要发现

• 若超图结构的树宽有界，则精确贝叶斯结构学习可在非均匀多项式时间内求解。
• 若超图结构的最大度也受限制，则问题可在线性时间内求解。
• 在指数时间假设下，树宽和最大度约束对统一多项式时间可解性都是必不可少的。
• 相同的复杂性结果适用于k邻域局部搜索，其目标是通过最多k次弧修改来改进网络。
• 在标准复杂性理论假设下，放弃任一约束都将导致不可解性。
• 这些结果适用于评分可分解的基于评分的学习，覆盖了常见评分准则的广泛类别。