[论文解读] Context-Specific Independence in Bayesian Networks

Craig Boutilier, Nir Friedman+2 more|arXiv (Cornell University)|Feb 13, 2013

Bayesian Modeling and Causal Inference参考文献 18被引用 553

一句话总结

本文提出了贝叶斯网络中的上下文特定独立性（CSI），这是一种形式化框架，用于捕捉仅在父变量取特定值时才成立的条件独立性。通过利用条件概率表（CPT）中的规律性，并采用树状结构表示，作者提出了CSI-d分离准则及高效的推理算法，在具有上下文特定依赖关系的网络中显著提升了性能。

ABSTRACT

Bayesian networks provide a language for qualitatively representing the conditional independence properties of a distribution. This allows a natural and compact representation of the distribution, eases knowledge acquisition, and supports effective inference algorithms. It is well-known, however, that there are certain independencies that we cannot capture qualitatively within the Bayesian network structure: independencies that hold only in certain contexts, i.e., given a specific assignment of values to certain variables. In this paper, we propose a formal notion of context-specific independence (CSI), based on regularities in the conditional probability tables (CPTs) at a node. We present a technique, analogous to (and based on) d-separation, for determining when such independence holds in a given network. We then focus on a particular qualitative representation scheme - tree-structured CPTs - for capturing CSI. We suggest ways in which this representation can be used to support effective inference algorithms. In particular, we present a structural decomposition of the resulting network which can improve the performance of clustering algorithms, and an alternative algorithm based on cutset conditioning.

研究动机与目标

• 将上下文特定独立性（CSI）形式化为贝叶斯网络中标准条件独立性的改进形式。
• 解决标准贝叶斯网络在表示仅在特定上下文条件下成立的独立性方面的局限性。
• 开发一种定性表示方案——树状结构CPT，以高效捕捉CSI。
• 设计利用CSI的推理算法，以提升计算性能。
• 证明CSI感知的推理在可扩展性和效率方面优于标准方法。

提出的方法

• 基于条件概率表（CPT）中的结构规律性，提出上下文特定独立性（CSI）的形式化定义。
• 引入类似于d分离的CSI-d分离准则，实现对网络结构中CSI的判定。
• 使用树状结构CPT紧凑表示上下文特定的条件分布，降低参数复杂度。
• 开发一种结构分解技术，以提升基于聚类的推理算法的性能。
• 提出一种专为CSI网络设计的割集条件化算法，以提高推理效率。
• 将CSI检测与推理集成到现有的贝叶斯网络框架中，以支持知识获取与推理。

实验结果

研究问题

• RQ1 如何在贝叶斯网络中正式定义并表示仅在特定上下文中成立的条件独立性？
• RQ2 何种结构准则可实现在不进行完整CPT评估的情况下检测网络中的上下文特定独立性？
• RQ3 如何利用树状结构CPT实现对上下文特定依赖关系的紧凑表示并降低模型复杂度？
• RQ4 CSI感知的推理算法在性能上相较于标准贝叶斯网络推理可提升多少？
• RQ5 在基于聚类和割集条件化的方法中，利用CSI可实现哪些结构与算法优化？

主要发现

• 所提出的CSI-d分离准则通过分析CPT的规律性，能正确识别贝叶斯网络中的上下文特定独立性。
• 树状结构CPT显著减少了表示上下文特定分布所需的参数数量。
• 对CSI网络进行结构分解，通过利用条件独立性结构，提升了基于聚类的推理算法效率。
• 为CSI网络定制的割集条件化算法在具有高度上下文特定依赖的网络中，性能优于标准方法。
• 实验结果表明，CSI感知推理在具有复杂上下文特定依赖关系的网络中，其可扩展性优于标准推理方法。
• 该框架支持更紧凑的知识获取，并在具有上下文敏感关系的真实世界贝叶斯网络中实现了更优的推理能力。