[论文解读] Learning restricted Bayesian network structures

Raymond Hemmecke, Silvia Lindner+1 more|arXiv (Cornell University)|Nov 30, 2010

Bayesian Modeling and Causal Inference被引用 3

一句话总结

本文引入特征合集——一种能唯一表示贝叶斯网络结构的0-1向量——作为新颖的代数工具，以简化受限贝叶斯网络结构的学习分析。通过利用这些合集，将非线性组合优化问题转化为线性整数规划，作者证明在标准评分等价性和可分性假设下，学习无向图中的生成树和森林是多项式时间可解的，而学习合情图子图或有界度结构则是NP难的。

ABSTRACT

Bayesian networks are basic graphical models, used widely both in statistics and artificial intelligence. These statistical models of conditional independence structure are described by acyclic directed graphs whose nodes correspond to (random) variables in consideration. A quite important topic is the learning of Bayesian network structures, which is determining the best fitting statistical model on the basis of given data. Although there are learning methods based on statistical conditional independence tests, contemporary methods are mainly based on maximization of a suitable quality criterion that evaluates how good the graph explains the occurrence of the observed data. This leads to a nonlinear combinatorial optimization problem that is in general NP-hard to solve. In this paper we deal with the complexity of learning restricted Bayesian network structures, that is, we wish to find network structures of highest score within a given subset of all possible network structures. For this, we introduce a new unique algebraic representative for these structures, called the characteristic imset. We show that these imsets are always 0-1-vectors and that they have many nice properties that allow us to simplify long proofs for some known results and to easily establish new complexity results for learning restricted Bayes network structures.

研究动机与目标

• 在标准评分等价性和可分性假设下，解决受限贝叶斯网络结构学习的复杂性问题。
• 开发一种新的代数表示方法——特征合集，以唯一标识贝叶斯网络的马尔可夫等价类。
• 通过将非线性优化问题转化为线性整数规划，实现对学习问题的多面体方法。
• 建立学习特定结构类（如森林、生成树、合情图子图）的复杂性结果（多项式时间 vs. NP难）。
• 提供一个统一且简化的框架，利用几何与组合技术，统一证明已知复杂性结果并推导新结果。

提出的方法

• 将标准合集通过可逆仿射变换转化为特征合集，作为0-1向量，保持格结构。
• 利用特征合集表示无环有向图（DAG）的马尔可夫等价类，其中每一项表示对应节点子集是否在本质图中构成团。
• 将贝叶斯网络结构学习问题重新表述为在特征合集凸包（即特征合集多面体）上的线性整数规划。
• 利用满足评分等价性和可分性的评分函数在特征合集上变为仿射函数的性质，实现线性规划的重构。
• 通过从已知的NP难问题（如团检测）出发进行多项式时间归约，证明合情图子图和有界度结构学习的难解性。
• 利用特征合集的某一项为1当且仅当其对应子集在本质图中为团的性质，将结构约束编码进目标函数。

实验结果

研究问题

• RQ1 能否使用代数表示方法系统地分析受限贝叶斯网络结构的学习复杂性，从而简化复杂性证明？
• RQ2 在给定评分函数的无向图中，学习生成树和森林是否为多项式时间可解？
• RQ3 在标准评分函数下，学习合情图子图的计算复杂性如何？
• RQ4 对节点施加度数上界后，对受限贝叶斯网络结构学习的复杂性有何影响？
• RQ5 特征合集能否用于推导贝叶斯网络结构学习问题的一般多面体描述？

主要发现

• 在标准评分等价性和可分性假设下，学习无向图中的生成树和森林是多项式时间可解的。
• 即使评分函数固定且最大团大小有界，学习无向图的合情图子图仍是NP难的。
• 对所有节点施加常数度数上界 $ k \geq 2 $ 会使学习问题变为NP难。
• 特征合集是0-1向量，能唯一表示贝叶斯网络的马尔可夫等价类，从而实现学习问题的清晰代数与几何重构。
• 使用特征合集可实现简洁、假设极少的复杂性结果证明，无需依赖评分函数的具体形式。
• 特征合集多面体恰好以特征合集为格点，其线性描述使得贝叶斯网络结构学习的多面体方法成为可能。