[论文解读] Learning Factor Graphs in Polynomial Time & Sample Complexity

Pieter Abbeel, Daphne Koller+1 more|arXiv (Cornell University)|Jul 26, 2005

Bayesian Modeling and Causal Inference参考文献 25被引用 10

一句话总结

本文提出了首个针对因子大小和连通性有界之因子图的多项式时间与多项式样本复杂度学习算法，采用一种新颖的规范参数化方法，避免了难以处理的推断问题。该方法可高效实现贝叶斯网络与马可夫网络的参数与结构学习——即使在推断困难的情况下亦可适用，当数据由此类模型生成时，能保证与真实分布之间的KL散度较低。

ABSTRACT

We study computational and sample complexity of parameter and structure learning in graphical models. Our main result shows that the class of factor graphs with bounded factor size and bounded connectivity can be learned in polynomial time and polynomial number of samples, assuming that the data is generated by a network in this class. This result covers both parameter estimation for a known network structure and structure learning. It implies as a corollary that we can learn factor graphs for both Bayesian networks and Markov networks of bounded degree, in polynomial time and sample complexity. Unlike maximum likelihood estimation, our method does not require inference in the underlying network, and so applies to networks where inference is intractable. We also show that the error of our learned model degrades gracefully when the generating distribution is not a member of the target class of networks.

研究动机与目标

• 开发一种在现实结构约束下计算与统计效率均高的因子图学习算法。
• 解决在无向图模型中标准推断不可行时的学习挑战。
• 为参数估计与结构学习提供样本复杂度与计算复杂度的理论保证。
• 确保当真实分布不完全属于目标模型类时，仍能实现平滑退化。

提出的方法

• 提出在因子层级上的吉布斯分布的精细化规范参数化，实现闭式参数估计。
• 利用经验熵估计识别每个变量的近似马尔可夫毯。
• 对候选因子与马尔可夫毯进行穷举枚举，其大小分别受限于有界值k与b。
• 应用动态规划方法，基于经验估计选择最相关的因子。
• 在因子层级上应用哈默斯利-克莱夫福德定理，以确保参数化的正确性。
• 使用固定规范赋值¯x计算规范因子估计，从而实现统计一致性。

实验结果

研究问题

• RQ1 能否在多项式时间与多项式样本复杂度下学习有界因子大小与连通性的因子图？
• RQ2 所提出的方法是否在学习过程中避免了对难以处理的推断过程的依赖？
• RQ3 当真实分布不在目标模型类中时，该算法表现如何？
• RQ4 该方法能否扩展为同时学习结构与参数，并具备理论保证？
• RQ5 样本复杂度对网络中变量数量的依赖关系为何？

主要发现

• 所提算法在学习有界因子大小与连通性的因子图时，实现了多项式时间与多项式样本复杂度。
• 当数据由目标类中的模型生成时，该方法能保证与真实分布之间的KL散度较低。
• 当生成分布不完全属于目标类时，算法能实现平滑退化，返回合理的近似结果。
• 对于有界入度模型，样本复杂度与网络中变量数量无关，实现O(1)依赖。
• 该方法适用于贝叶斯网络与马可夫网络，包括推断困难的模型（如网格结构）。
• 理论框架为开发避免穷举搜索、提升数据效率的实际算法奠定了基础。