[论文解读] Finding Optimal Bayesian Networks

David Maxwell Chickering, Christopher Meek|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 10被引用 112

一句话总结

本文证明，在较弱的组合性假设下，而非更强的完美性条件假设下，使用渐近一致评分准则的贪心贝叶斯网络搜索算法可收敛至包含最优的贝叶斯网络结构。其关键贡献在于证明了此类算法即使在存在未观测变量或选择偏差的情况下，也能识别出一个包含真实生成分布且不存在更小子模型也具有此性质的模型。

ABSTRACT

In this paper, we derive optimality results for greedy Bayesian-network search algorithms that perform single-edge modifications at each step and use asymptotically consistent scoring criteria. Our results extend those of Meek (1997) and Chickering (2002), who demonstrate that in the limit of large datasets, if the generative distribution is perfect with respect to a DAG defined over the observable variables, such search algorithms will identify this optimal (i.e. generative) DAG model. We relax their assumption about the generative distribution, and assume only that this distribution satisfies the {em composition property} over the observable variables, which is a more realistic assumption for real domains. Under this assumption, we guarantee that the search algorithms identify an {em inclusion-optimal} model; that is, a model that (1) contains the generative distribution and (2) has no sub-model that contains this distribution. In addition, we show that the composition property is guaranteed to hold whenever the dependence relationships in the generative distribution can be characterized by paths between singleton elements in some generative graphical model (e.g. a DAG, a chain graph, or a Markov network) even when the generative model includes unobserved variables, and even when the observed data is subject to selection bias.

研究动机与目标

• 放松贝叶斯网络结构学习中对完美性的强假设。
• 确立贪心搜索算法收敛至包含最优模型的条件。
• 证明组合性可确保收敛至包含真实生成分布的模型。
• 证明在未观测变量或选择偏差影响观测数据时，组合性依然成立。
• 将评分准则渐近一致性的先前结果扩展至更符合现实的数据生成过程。

提出的方法

• 作者将组合性定义为贝叶斯网络结构学习中包含最优性的必要且充分条件。
• 他们分析了每次仅修改一条边的贪心搜索算法，并使用渐近一致的评分准则。
• 该方法依赖于证明：在组合性条件下，任意局部最优解均对应一个包含最优模型。
• 证明技术涉及对图形模型（包括DAG、链图和马尔可夫随机场）中依赖关系结构的分析。
• 该方法通过用组合性替代完美性假设，推广了Meek（1997）和Chickering（2002）的先前结果。
• 该框架适用于存在未观测变量且数据受选择偏差影响的情形，只要组合性成立即可。

实验结果

研究问题

• RQ1 在何种条件下，贪心贝叶斯网络搜索算法可收敛至包含真实生成分布的模型？
• RQ2 是否可在不假设生成分布相对于DAG为完美分布的前提下，保证收敛至最优模型？
• RQ3 在存在未观测变量或观测数据受选择偏差影响时，组合性是否依然成立？
• RQ4 是否存在弱于完美性的条件，仍能确保收敛至包含最优模型？
• RQ5 在组合性条件下，渐近一致的评分准则是否可用于识别包含最优结构？

主要发现

• 使用渐近一致评分准则的贪心搜索算法在组合性条件下可收敛至包含最优的贝叶斯网络结构。
• 只要生成分布中的依赖关系能在图形模型的路径中表示，组合性即成立，即使存在未观测变量。
• 即使观测数据受选择偏差影响，组合性依然成立。
• 算法识别出的包含最优模型包含真实生成分布，且不存在更小的子模型也具有此性质。
• 结果推广了先前工作，通过放松完美性假设，使理论保证适用于更广泛的现实世界领域。
• 该框架支持在存在潜在混淆因子或选择偏差的数据上进行学习，只要满足组合性条件。