[论文解读] Asymptotic Model Selection for Directed Networks with Hidden Variables

Dan Geiger, David Heckerman+1 more|arXiv (Cornell University)|Feb 13, 2013

Bayesian Modeling and Causal Inference被引用 10

一句话总结

本文通过推导基于网络参数到可观测参数映射的雅可比矩阵秩的渐近近似，将贝叶斯信息准则（BIC）扩展至含有隐变量的贝叶斯网络。其主要贡献是提出一种系统化的方法来计算考虑隐变量的模型复杂度，从而在大样本设定下实现一致的模型选择。

ABSTRACT

We extend the Bayesian Information Criterion (BIC), an asymptotic approximation for the marginal likelihood, to Bayesian networks with hidden variables. This approximation can be used to select models given large samples of data. The standard BIC as well as our extension punishes the complexity of a model according to the dimension of its parameters. We argue that the dimension of a Bayesian network with hidden variables is the rank of the Jacobian matrix of the transformation between the parameters of the network and the parameters of the observable variables. We compute the dimensions of several networks including the naive Bayes model with a hidden root node.

研究动机与目标

• 解决含有未观测（隐性）变量的有向贝叶斯网络中的模型选择挑战。
• 将贝叶斯信息准则（BIC）扩展至处理隐变量引入的复杂性增加问题。
• 在潜变量存在的情况下，提供一种理论基础坚实的模型复杂度测量方法。
• 通过准确捕捉此类模型中的有效自由度，确保渐近一致的模型选择。

提出的方法

• 通过利用雅可比矩阵建模参数空间变换，提出将BIC准则扩展至含有隐变量的贝叶斯网络。
• 将含有隐变量的贝叶斯网络的维度定义为网络参数与可观测变量参数之间雅可比矩阵的秩。
• 运用代数几何计算雅可比矩阵的秩，以量化模型中有效自由参数的数量。
• 将该方法应用于特定网络结构（包括含隐根节点的朴素贝叶斯模型），以验证方法的有效性。
• 推导出边际似然的渐近近似，根据雅可比矩阵的秩对模型复杂度进行惩罚。
• 采用标准BIC风格的惩罚机制，但用雅可比矩阵的秩替代标准参数计数，以反映真实的模型复杂度。

实验结果

研究问题

• RQ1 如何将贝叶斯信息准则（BIC）适应于含有隐变量的有向贝叶斯网络中的模型选择？
• RQ2 当贝叶斯网络中存在潜变量时，合适的模型复杂度度量是什么？
• RQ3 网络参数与可观测参数之间雅可比矩阵的秩如何与模型维度相关？
• RQ4 扩展后的BIC准则是否能在大样本设定下实现含隐变量模型的一致模型选择？
• RQ5 当引入一个隐根节点时，朴素贝叶斯模型的维度是多少？

主要发现

• 含有隐变量的贝叶斯网络的维度被定义为将网络参数映射到可观测变量参数的雅可比矩阵的秩。
• 所提出的方法成功计算了含隐根节点的朴素贝叶斯模型的模型复杂度，表明其有效维度低于参数的简单计数。
• 扩展的BIC准则为边际似然提供了渐近一致的近似，使在大规模数据集下实现可靠的模型选择成为可能。
• 该方法通过准确捕捉隐变量带来的真实自由度，解决了模型选择中的过拟合问题。
• 该方法理论基础坚实，适用于多种具有潜结构的有向网络，已在标准网络配置上得到验证。
• 使用雅可比矩阵秩作为复杂度度量，可确保模型选择仅对可识别的有效参数进行惩罚，而非对包含未观测变量的完整参数空间进行惩罚。