[论文解读] Required sample size for learning sparse Bayesian networks with many variables

Paweł Wocjan, Dominik Janzing+1 more|ArXiv.org|Apr 26, 2002

Bayesian Modeling and Causal Inference参考文献 6被引用 8

一句话总结

该论文证明，在已知时间顺序的前提下，学习具有有界入度Δ的稀疏贝叶斯网络仅需线性样本量（以变量数n为基准）。通过有界(2Δ+1)元组的圆柱集的VC维，表明对小变量集的条件概率进行估计，即可实现全联合分布的高效学习，其样本复杂度随n线性增长，而非指数增长。

ABSTRACT

Learning joint probability distributions on n random variables requires exponential sample size in the generic case. Here we consider the case that a temporal (or causal) order of the variables is known and that the (unknown) graph of causal dependencies has bounded in-degree Delta. Then the joint measure is uniquely determined by the probabilities of all (2 Delta+1)-tuples. Upper bounds on the sample size required for estimating their probabilities can be given in terms of the VC-dimension of the set of corresponding cylinder sets. The sample size grows less than linearly with n.

研究动机与目标

• 确定在高维设置下，可靠学习联合概率分布所需的最小样本量。
• 研究结构约束（特别是有界入度Δ和已知时间顺序）如何降低学习贝叶斯网络的样本复杂度。
• 建立对应于(2Δ+1)元组的圆柱集的VC维的理论界，以支持样本复杂度分析。
• 证明当底层因果图稀疏时，全联合分布的学习可在样本量线性增长的条件下实现。

提出的方法

• 作者假设变量具有已知时间顺序，使用有界入度Δ的贝叶斯网络对联合概率分布进行建模。
• 将联合分布表示为(2Δ+1)元组上条件概率的乘积，从而减少需估计的参数数量。
• 利用不等式 h ≤ k log₂(nd) 对这些元组的圆柱集集合的VC维进行有界，其中 k = 2Δ+1。
• 通过子集的二进制编码推导VC维的下界，表明上界在k和d为常数时具有渐近紧致性。
• 利用浓度不等式对相对频率偏离真实概率的偏差风险Rε进行有界，表明风险随样本量线性增长而指数衰减。
• 利用理论界来证明一种条件独立性检验准则：若观测到的依赖关系超过估计不确定性，则视为显著。

实验结果

研究问题

• RQ1 当因果结构稀疏时，学习n个变量的联合概率分布所需的最小样本量是多少？
• RQ2 假设已知时间顺序和有界入度Δ，如何影响贝叶斯网络学习的样本复杂度？
• RQ3 能否以一种可支持样本量线性缩放的方式，对(2Δ+1)元组的圆柱集VC维进行有界？
• RQ4 在何种条件下，可使用估计的条件概率可靠地执行统计独立性检验？

主要发现

• 对于(2Δ+1)元组的圆柱集集合，VC维的上界为 h ≤ k log₂(nd)，其中 k = 2Δ+1，确保了复杂度可控。
• 推导出VC维的下界为 ⌊log₂(n−k+1)⌋，表明当k和d为常数时，上界具有渐近紧致性。
• 通过随n线性增长的样本量，可使估计概率的相对偏差超过ε的风险Rε小于任意δ > 0。
• 当样本量l随n线性增长时，由于测度集中效应，风险Rε随n指数衰减。
• 该方法允许可靠地执行条件独立性检验：若依赖关系超过估计概率的统计不确定性，则视为真实存在。
• 在底层因果图具有有界入度Δ且时间顺序已知的前提下，全联合分布可实现线性样本量下的高效学习。