[论文解读] Bayesian Networks for Variable Groups

Pekka Parviainen, Samuel Kaski|arXiv (Cornell University)|Aug 31, 2015

Bayesian Modeling and Causal Inference参考文献 14被引用 2

一句话总结

本文提出了用于建模预定义变量组之间依赖关系的贝叶斯网络结构，表明精确表示需要组间马尔可夫性假设。它证明了组间因果关系的推断需要同时满足组间和变量间的条件独立性，并提出了学习组间依赖结构的算法。

ABSTRACT

Bayesian networks, and especially their structures, are powerful tools for representing conditional independencies and dependencies between random variables. In applications where related variables form a priori known groups, chosen to represent different “views” to or aspects of the same entities, one may be more interested in modeling dependencies between groups of variables rather than between individual variables. Motivated by this, we study prospects of representing relationships between variable groups using Bayesian network structures. We show that for dependency structures between groups to be expressible exactly, the data have to satisfy the so-called groupwise faithfulness assumption. We also show that one cannot learn causal relations between groups using only groupwise conditional independencies, but also variable-wise relations are needed. Additionally, we present algorithms for finding the groupwise dependency structures.

研究动机与目标

• 对预定义的变量组而非单个变量进行依赖关系建模。
• 研究组间依赖在贝叶斯网络中可被精确表示的条件。
• 确定是否仅通过组间条件独立性即可学习组间的因果关系。
• 开发从数据中发现组间依赖结构的算法。

提出的方法

• 提出一个正式框架，用于在贝叶斯网络结构中表示变量组之间的依赖关系。
• 引入组间马尔可夫性假设，作为组间依赖关系精确表示的必要条件。
• 分析仅使用组间条件独立性来学习组间因果关系的局限性。
• 证明在学习组间因果关系时，除组间条件独立性外，还需依赖变量间的条件独立性。
• 开发基于组层面条件独立性检验的算法，以识别组间依赖结构。
• 应用适配于组级条件独立关系的结构学习技术。

实验结果

研究问题

• RQ1 在何种条件下，组间依赖关系可在贝叶斯网络结构中被精确表示？
• RQ2 是否仅通过组间条件独立性即可学习组间的因果关系？
• RQ3 变量间条件独立性在学习组间因果结构中起什么作用？
• RQ4 如何从数据中高效学习组间依赖结构？
• RQ5 组间建模在贝叶斯网络中的理论局限性是什么？

主要发现

• 组间马尔可夫性假设是贝叶斯网络中精确表示组间依赖结构的充要条件。
• 仅通过组间条件独立性无法学习组间的因果关系；还需依赖变量间的条件独立性。
• 可通过在组层面进行条件独立性检验的适配结构学习算法来学习组间依赖结构。
• 本文建立了组间模型表达能力的理论极限，表明在缺乏马尔可夫性假设时，并非所有组间依赖模式都可被表示。
• 所提出的算法在组间马尔可夫性假设下能成功恢复组间结构。
• 研究表明，以组为单位建模并不能消除在因果推断中考虑单个变量关系的必要性。