[论文解读] An asymptotic approximation of the marginal likelihood for general Markov models

Piotr Zwiernik|arXiv (Cornell University)|Dec 3, 2010

Bayesian Modeling and Causal Inference参考文献 24被引用 3

一句话总结

本文推导了在具有隐变量的根二叉树上的一般马尔可夫模型的边际似然的渐近近似，使用实对数可化阈值（real log-canonical thresholds）将BIC评分推广至非正则模型。关键结果表明，BIC近似中的log-N惩罚项由树中叶节点数、度数为2的内节点数和度数为3的内节点数决定，当根节点为非退化内节点时，需引入校正项。

ABSTRACT

The standard Bayesian Information Criterion (BIC) is derived under regularity conditions which are not always satisfied by the graphical models with hidden variables. In this paper we derive the BIC score for Bayesian networks in the case of binary data and when the underlying graph is a rooted tree and all the inner nodes represent hidden variables. This provides a direct generalization of a similar formula given by Rusakov and Geiger for naive Bayes models. The main tool used in this paper is a connection between asymptotic approximation of Laplace integrals and the real log-canonical threshold.

研究动机与目标

• 将贝叶斯信息准则（BIC）扩展至具有隐变量的一般马尔可夫模型，特别是树结构上的模型。
• 解决标准BIC在似然最大值点为奇异点（如存在隐藏节点的树状贝叶斯网络）时失效的问题。
• 利用实对数可化阈值和Laplace积分渐近法，建立边际似然的精确渐近近似。
• 刻画树结构（特别是叶节点数、度数为2和度数为3的内节点数）如何影响边际似然的惩罚项。
• 推导在根节点退化性条件下，渐近展开中额外出现$\text{log log}N$项的条件。

提出的方法

• 使用渐近Laplace积分近似分析奇异统计模型中的边际似然。
• 应用实对数可化阈值（RLCT）理论，刻画当似然最大值点为奇异点时，边际似然的渐近行为。
• 在根二叉树上建模一般马尔可夫过程，所有内部节点均未观测，重点研究观测叶节点变量的分布。
• 将退化内节点定义为：在该节点分离的叶节点对之间所有成对协方差为零的节点，并据此对树结构进行分类。
• 通过将模型理想分解为子树，利用代数几何与奇点理论的结果，推导模型理想的RLCT。
• 使用公式$ Z(N) = \tilde{\theta}_N - \frac{1}{4}(3n + l_2 + 5l_3)\text{log}N + O(1) $，当根节点为非退化时引入校正项，并在多重性大于1时包含$(m-1)\text{log log}N$项。

实验结果

研究问题

• RQ1 在具有隐变量的根树上的一般马尔可夫模型中，边际似然的渐近行为如何？
• RQ2 当似然最大值点为奇异点（如存在隐藏节点的树模型）时，BIC近似的正确形式是什么？
• RQ3 树中内节点的数量和类型（度数为2、3）如何影响边际似然近似中的log-N惩罚项？
• RQ4 在边际似然的渐近展开中，额外$\text{log log}N$项出现的条件是什么？
• RQ5 观测样本协方差矩阵的结构（特别是零元素）是否能完全决定此类模型中边际似然的渐近行为？

主要发现

• 渐近边际似然为$ Z(N) = \tilde{\theta}_N - \frac{1}{4}(3n + l_2 + 5l_3)\text{log}N + O(1) $，其中$n$为叶节点数，$l_2$为度数为2的内节点数，$l_3$为度数为3的内节点数。
• 当根节点为非退化内节点时，惩罚项变为$\frac{1}{4}(3n + l_2 + 5l_3 - 1)\text{log}N$，反映了结构上的校正。
• 若根节点退化且其所有邻居也退化，则奇点的多重性为1，不出现额外的$\text{log log}N$项。
• 当奇点的多重性大于1时，渐近展开中包含额外的$(m-1)\text{log log}N$项，且$m \neq 1$，影响模型选择。
• 样本协方差矩阵中的零元素完全决定了边际似然的渐近结构，特别是通过识别退化节点实现。
• 模型的实对数可化阈值（RLCT）为$\frac{1}{4}(3n + l_2 + 5l_3)$，且多重性为1，除非根节点及其邻居均退化，此时多重性可能大于1。