[论文解读] Information-theoretic limits of Bayesian network structure learning

Asish Ghoshal, Jean Honorio|arXiv (Cornell University)|Jan 27, 2016

Bayesian Modeling and Causal Inference被引用 3

一句话总结

本文建立了贝叶斯网络（BNs）结构恢复所需样本复杂度的信息论下界，表明对于非稀疏BNs需要Ω(m)个样本，而对于最大入度为k的稀疏BNs需要Ω(k log m + k²/m)个样本。本文提出了一种基于扩展Fano不等式的通用方法，适用于指数族BNs，并推导出CPT-based、高斯、nOisy-OR和逻辑回归BNs的紧致下界，揭示了现有算法（如SparsityBoost）在样本效率方面远未达到最优。

ABSTRACT

In this paper, we study the information-theoretic limits of learning the structure of Bayesian networks (BNs), on discrete as well as continuous random variables, from a finite number of samples. We show that the minimum number of samples required by any procedure to recover the correct structure grows as $Ω(m)$ and $Ω(k \log m + (k^2/m))$ for non-sparse and sparse BNs respectively, where $m$ is the number of variables and $k$ is the maximum number of parents per node. We provide a simple recipe, based on an extension of the Fano's inequality, to obtain information-theoretic limits of structure recovery for any exponential family BN. We instantiate our result for specific conditional distributions in the exponential family to characterize the fundamental limits of learning various commonly used BNs, such as conditional probability table based networks, gaussian BNs, noisy-OR networks, and logistic regression networks. En route to obtaining our main results, we obtain tight bounds on the number of sparse and non-sparse essential-DAGs. Finally, as a byproduct, we recover the information-theoretic limits of sparse variable selection for logistic regression.

研究动机与目标

• 确定从数据中一致恢复贝叶斯网络（BN）结构所需的最小样本量的根本下限。
• 开发一种适用于任意指数族BN的通用方法，以推导信息论下界。
• 刻画特定BN类型（包括条件概率表（CPT）、高斯、nOisy-OR和逻辑回归网络）的样本复杂度极限。
• 量化当前算法（如SparsityBoost）与信息论极限在样本效率方面的差距。
• 将Fano不等式扩展至处理隐变量，并推导出指数族分布之间KL散度的界。

提出的方法

• 利用扩展Fano不等式至含隐变量的设置，推导出信息论极限的一般方法。
• 将扩展的Fano不等式应用于指数族分布，利用自然参数化和充分统计量。
• 建立对基本DAG（包括稀疏与非稀疏）数量的紧致界，以量化结构恢复的复杂度。
• 针对每类BN，基于参数假设，计算观测数据与真实DAG结构之间的互信息上界。
• 结合互信息上界与Fano不等式，推导出实现可靠结构恢复所需样本量的下界。
• 将该框架应用于具体BN模型：CPT-based、高斯、nOisy-OR和逻辑回归BNs，为每类模型推导出明确的样本复杂度下界。

实验结果

研究问题

• RQ1 无论采用何种学习算法，可靠恢复贝叶斯网络真实DAG结构所需的最小样本数是多少？
• RQ2 非稀疏与稀疏贝叶斯网络在信息论样本复杂度极限上存在何种差异？
• RQ3 现有结构学习算法（如SparsityBoost）在多大程度上偏离了根本的样本复杂度极限？
• RQ4 能否开发一个统一框架，以推导任意指数族贝叶斯网络的信息论极限？
• RQ5 模型特定参数（如最小概率θ_min或权重范数w_max^1）对根本样本复杂度有何影响？

主要发现

• 恢复非稀疏BN结构所需的最小样本数为Ω(m)，其中m为变量数。
• 对于最大入度为k的稀疏BNs，所需样本量为Ω(k log m + k²/m)，在k相对于m较小时与O(k² log m)的上界一致。
• 当权重向量的ℓ₁范数有界于w_max^1 ≤ 1/k时，逻辑回归BNs的样本复杂度下界为Ω(k² log m)，与Ravikumar等人[3]的上界匹配，证明了信息论最优性。
• 针对二值CPT BNs的SparsityBoost算法的样本复杂度为O(m² / θ_min)，远差于信息论下界Ω((k log m + k²/m) / log(1/θ_min))。
• 学习分层贝叶斯网络（即节点顺序仅知至层）的样本复杂度与学习一般BNs相当，表明分层结构并未降低根本难度。
• 本文提供了两个指数族分布之间KL散度的新上界，表达为自然参数差与期望充分统计量的内积，这是关键的技术贡献。