[论文解读] Bounds on the number of inference functions of a graphical model

Sergi Elizalde, Kevin M. Woods|ArXiv.org|Oct 6, 2006

Bayesian Modeling and Causal Inference参考文献 16被引用 8

一句话总结

本文建立了图形模型中推理函数数量的多项式上界，表明尽管从观测到解释的映射可能性极多，但通过一致的参数选择，仅有多项式数量的推理函数是可实现的。关键结果是：对于固定参数数量，推理函数的数量随模型复杂度 M 增长为 O(M^{d(d−1)})，该界在常数因子范围内是紧致的，通过构造隐马尔可夫模型和序列比对模型，证明了该界在渐近意义上是紧致的。

ABSTRACT

Directed and undirected graphical models, also called Bayesian networks and Markov random fields, respectively, are important statistical tools in a wide variety of fields, ranging from computational biology to probabilistic artificial intelligence. We give an upper bound on the number of inference functions of any graphical model. This bound is polynomial on the size of the model, for a fixed number of parameters, thus improving the exponential upper bound given by Pachter and Sturmfels. We also show that our bound is tight up to a constant factor, by constructing a family of hidden Markov models whose number of inference functions agrees asymptotically with the upper bound. Finally, we apply this bound to a model for sequence alignment that is used in computational biology.

研究动机与目标

• 确定在参数数量固定的情况下，图形模型中可能存在的不同推理函数的最大数量。
• 解决观测到解释的映射数量呈二重指数级增长与参数化模型产生的推理函数数量有限之间的表面矛盾。
• 证明在参数数量固定时，推理函数的数量关于模型复杂度是多项式而非指数增长。
• 通过显式构造隐马尔可夫模型和序列比对模型，证明该多项式上界在渐近意义上是紧致的。

提出的方法

• 利用多面体和比对多边形的法线扇形等几何与组合技术，推导推理函数数量的上界。
• 将推理函数建模为参数空间中的区域，其中某一特定解释是最优的，对应于多面体法线扇形中的胞腔。
• 利用与比对得分函数相关的牛顿多面体 NP(fτ) 的结构，以限制不同推理函数的数量。
• 通过构造特定的二进制序列族，证明比对多边形中不同斜率的数量增长为 Ω(n²)，从而推导出 Ω(n²) 个推理函数。
• 通过分析底层图形模型的复杂度及法锥的排列方式，证明 d 参数模型的推理函数数量为 O(M^{d(d−1)})。
• 通过构造一族隐马尔可夫模型和一个序列比对模型，证明该上界在渐近意义上是紧致的，其推理函数数量与上界一致。

实验结果

研究问题

• RQ1 在参数数量固定的情况下，图形模型中可能产生的不同推理函数的最大数量是多少？
• RQ2 为何推理函数的数量远小于观测到解释的映射总数（呈二重指数级）？
• RQ3 能否使推理函数的上界达到紧致性？若能，适用于哪些模型类别？
• RQ4 在实际模型（如隐马尔可夫模型和序列比对系统）中，推理函数的数量如何随模型规模和参数数量变化？

主要发现

• 对于具有 d 个固定参数的图形模型，推理函数数量的上界为 O(M^{d(d−1)})，其中 M 为模型复杂度，该结果显著优于此前已知的指数上界。
• 该上界在渐近意义上是紧致的，通过构造一族隐马尔可夫模型，其推理函数数量增长为 Θ(M^{d(d−1)}) 得以证明。
• 对于具有两个参数（错配惩罚和缺口惩罚）的序列比对模型，推理函数数量为 Θ(n²)，其中 n 为输入序列的长度，证实了多项式缩放关系。
• 构造出具有 Ω(n²) 个不同边斜率的比对多边形，证明了即使在限制于生物学上有意义的参数值（α, β ≥ 0）时，推理函数数量仍为 Ω(n²)。
• 即使参数连续变化，推理函数数量仍保持多项式增长，表明尽管参数空间维度高，其功能多样性仍有限。
• 结果表明，对于给定模型预先计算所有推理函数在计算上是可行的，从而可实现对观测结果的快速查询响应。