[论文解读] Factorizing Probabilistic Graphical Models Using Co-occurrence Rate

Zhemin Zhu|arXiv (Cornell University)|Aug 9, 2010

Bayesian Modeling and Causal Inference参考文献 11被引用 2

一句话总结

本文提出共现率（CR），一种统一的数学框架，用于分解概率图模型（PGMs），该框架将贝叶斯网络、马尔可夫随机场（MRFs）、条件随机场（CRFs）和精炼马尔可夫随机场（RMRFs）作为特例。CR-分解提供精确的因子作用域和概率函数，将分解过程可视化为图操作，并在无默认配置的情况下，于TCG图上实现最优分解，优于以往基于MRF的方法。

ABSTRACT

Factorization is of fundamental importance in the area of Probabilistic Graphical Models (PGMs). In this paper, we theoretically develop a novel mathematical concept, \ extbf{C}o-occurrence \ extbf{R}ate (CR), for factorizing PGMs. CR has three obvious advantages: (1) CR provides a unified mathematical foundation for factorizing different types of PGMs. We show that Bayesian Network Factorization (BN-F), Conditional Random Field Factorization (CRF-F), Markov Random Field Factorization (MRF-F) and Refined Markov Random Field Factorization (RMRF-F) are all special cases of CR Factorization (CR-F); (2) CR has simple probability definition and clear intuitive interpretation. CR-F tells not only the scopes of the factors, but also the exact probability functions of these factors; (3) CR connects probability factorization and graph operations perfectly. The factorization process of CR-F can be visualized as applying a sequence of graph operations including partition, merge, duplicate and condition to a PGM graph. We further obtain an important result: by CR-F, on TCG graphs the scopes of factors can be exactly over maximal cliques without any default configuration. This improves the results of (R)MRF-F which need default configurations, and also indicates that (R)MRF-F, as special cases of CR-F, can not always achieve the optimal results of CR-F.

研究动机与目标

• 开发一个统一的数学基础，用于分解各类概率图模型（PGMs）。
• 通过提供更通用的框架，消除在马尔可夫随机场（MRF）和精炼马尔可夫随机场（RMRF）分解中对默认配置的需求。
• 建立一个清晰、直观且基于概率的因子分解定义，同时捕捉因子作用域和精确的概率函数。
• 将 PGM 因子分解与显式的图操作（如划分、合并、复制和条件化）联系起来。
• 证明 CR-分解在无启发式默认设置的情况下，于 TCG（三角复合图）结构上可实现最优结果。

提出的方法

• 引入共现率（CR）作为新颖的数学概念，统一各类 PGM 类型的分解。
• 使用简单且可解释的概率公式定义 CR，以捕捉图模型中联合出现的模式。
• 将因子分解过程表示为在 PGM 图上的一系列图操作：划分、合并、复制和条件化。
• 证明 BN-F、CRF-F、MRF-F 和 RMRF-F 都是更一般的 CR-Factorization 的特例。
• 推导出在 TCG 图上，CR-Factorization 天然地生成最大团上的因子，而无需任何默认配置。
• 建立理论上的等价性与层次关系，证明 (R)MRF-F 是 CR-F 的受限实例。

实验结果

研究问题

• RQ1 是否存在一个单一的数学框架，能够统一贝叶斯网络、MRFs 和 CRFs 等不同类型 PGM 的分解？
• RQ2 CR-分解是否同时提供每个因子的作用域和精确的概率函数，从而支持完整重建？
• RQ3 因子分解过程是否可通过如划分和合并等基本图操作进行可视化和理解？
• RQ4 CR-分解是否消除了在 TCG 图上基于 MRF 的分解对默认配置的需求？
• RQ5 CR-分解是否严格更通用且优于现有 (R)MRF-分解方法？

主要发现

• CR-分解将 BN-F、CRF-F、MRF-F 和 RMRF-F 统一为特例，为 PGM 分解提供了单一的理论基础。
• CR 具有简洁的概率定义，具有清晰的直观解释，可直接理解因子作用域及其精确的概率函数。
• 因子分解过程可被可视化为在 PGM 图上的一系列图操作——划分、合并、复制和条件化。
• 在 TCG 图上，CR-分解在无需任何默认配置的情况下，实现了对最大团的精确分解，而 (R)MRF-F 无法保证这一点。
• 由于 (R)MRF-F 是 CR-F 的特例，它们无法始终达到 CR-F 的最优结果，表明 CR-F 严格更通用且更强大。
• 理论框架证明，CR-分解在 TCG 设置下提供了 PGM 分解的完整且最优的解决方案。