[论文解读] Linearity Properties of Bayes Nets with Binary Variables

David Danks, Clark Glymour|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 7被引用 15

一句话总结

本文证明了线性结构模型中的关键线性性质——特别是 Tetrad 表示定理、工具变量方法以及基于路径的关联因子分解——在二值变量的贝叶斯网络中依然成立，尤其当其参数化为噪声或门（noisy-OR/AND gates）时。核心贡献在于为二值贝叶斯网络证明了 Tetrad 表示定理，从而可通过可检验的条件独立性约束检测未观测到的共同原因。

ABSTRACT

It is "well known" that in linear models: (1) testable constraints on the marginal distribution of observed variables distinguish certain cases in which an unobserved cause jointly influences several observed variables; (2) the technique of "instrumental variables" sometimes permits an estimation of the influence of one variable on another even when the association between the variables may be confounded by unobserved common causes; (3) the association (or conditional probability distribution of one variable given another) of two variables connected by a path or trek can be computed directly from the parameter values associated with each edge in the path or trek; (4) the association of two variables produced by multiple treks can be computed from the parameters associated with each trek; and (5) the independence of two variables conditional on a third implies the corresponding independence of the sums of the variables over all units conditional on the sums over all units of each of the original conditioning variables.These properties are exploited in search procedures. It is also known that properties (2)-(5) do not hold for all Bayes nets with binary variables. We show that (1) holds for all Bayes nets with binary variables and (5) holds for all singly trek-connected Bayes nets of that kind. We further show that all five properties hold for Bayes nets with any DAG and binary variables parameterized with noisy-or and noisy-and gates.

研究动机与目标

• 确定线性模型中的哪些线性性质在仅含二值变量的贝叶斯网络中仍然成立。
• 为二值贝叶斯网络建立 Tetrad 表示定理的有效性。
• 研究工具变量和基于路径的关联规则在二值网络中的适用性。
• 考察泛化边界的限制，特别是对多重路径连接结构的情形。
• 评估在二值模型中从聚合数据进行因果发现的含义。

提出的方法

• 使用基于集合 U(T) 和 S(T) 的广义路径规则变体，对二值贝叶斯网络中的关联进行因子分解。
• 应用条件独立性引理：若 A ⊥⊥ C | B，则对二值变量有 p(A,C) = p(A,B) * p(B,C)。
• 通过路径的结构分解与证明草图推导关联因子分解式。
• 利用噪声与门构造反例，证明在多重路径连接网络中广义路径规则的失效。
• 通过比较不同条件集下的条件相关性，分析聚合不变性。
• 通过对 P(X) 和协方差表达式的代数运算，检验聚合数据中非零依赖关系的存在。

实验结果

研究问题

• RQ1 Tetrad 表示定理是否适用于仅含二值变量的贝叶斯网络？
• RQ2 在二值贝叶斯网络中，工具变量方法是否可可靠用于因果效应估计？
• RQ3 基于路径的关联规则——尤其是广义路径规则——是否在采用噪声或/与门参数化的二值网络中成立？
• RQ4 在二值模型中，当对多个变量进行条件化时，聚合不变性是否仍然保持？
• RQ5 线性模型的线性性质在多大程度上可推广至二值贝叶斯网络？

主要发现

• Tetrad 表示定理在二值贝叶斯网络中成立：当且仅当行列式 p(I1,J1)p(I2,J2) - p(I1,J2)p(I2,J1) = 0 时，两组变量之间存在阻塞点。
• 在采用噪声与门/或门的多重路径连接二值网络中，广义路径规则失效，反例表明 p(X0,X3) ≠ Σ p(X0,X3) 对所有独立路径的求和。
• 对于仅通过一条路径连接的二值网络（采用噪声或/与门），基于门类型和边缘概率，推导出闭式关联公式。
• 工具变量技术在一般二值贝叶斯网络中有效，即使在存在混淆因子的情况下，也能实现因果效应估计。
• 在多重路径连接模型中，聚合不变性不成立：对多个父节点进行条件化并不能保证偏相关系数为零。
• 广义路径规则与聚合不变性的失效，限制了在复杂二值网络中使用聚合数据进行因果发现的能力。