[论文解读] Lifted Inference for Relational Continuous Models

Jaesik Choi, Eyal Amir+1 more|arXiv (Cornell University)|Mar 15, 2012

Bayesian Modeling and Causal Inference参考文献 24被引用 23

一句话总结

该论文提出了首个针对关系连续模型（RCMs）的精确提升推理算法，实现了在具有连续变量的大规模关系数据上的高效概率推理。通过利用具有高斯势函数的关系成对模型中的对称性，该方法实现了线性时间复杂度——显著优于以往的三次方时间方法——且在实验中表现优于所有基线的地面推理与提升推理方法。

ABSTRACT

Relational Continuous Models (RCMs) represent joint probability densities over attributes of objects, when the attributes have continuous domains. With relational representations, they can model joint probability distributions over large numbers of variables compactly in a natural way. This paper presents a new exact lifted inference algorithm for RCMs, thus it scales up to large models of real world applications. The algorithm applies to Relational Pairwise Models which are (relational) products of potentials of arity 2. Our algorithm is unique in two ways. First, it substantially improves the efficiency of lifted inference with variables of continuous domains. When a relational model has Gaussian potentials, it takes only linear-time compared to cubic time of previous methods. Second, it is the first exact inference algorithm which handles RCMs in a lifted way. The algorithm is illustrated over an example from econometrics. Experimental results show that our algorithm outperforms both a groundlevel inference algorithm and an algorithm built with previously-known lifted methods.

研究动机与目标

• 实现大规模关系模型中连续随机变量的高效精确推理。
• 解决连续域模型中缺乏精确提升推理方法的问题。
• 在关系成对模型中，将计算效率提升至超越三次方时间方法的水平。
• 为涉及关系结构中连续属性的实际应用提供可扩展的解决方案。
• 通过实证评估，证明提升推理在连续关系模型中的可行性和优越性。

提出的方法

• 该算法在关系成对模型（RPMs）上运行，这些模型被分解为二元arity的成对势函数。
• 通过利用模型结构中的对称性，实现无需对所有变量进行接地的推理，从而支持提升操作。
• 对于高斯势函数，该方法通过利用高斯分布的闭式解，将推理复杂度降低至线性时间。
• 该方法采用一种保持因子分解表示的提升变量消去策略。
• 在提升因子图上应用消息传递技术，保留关系结构并避免底层计算。
• 该算法通过高斯分布与关系结构的符号运算实现，无需近似即可实现精确推理。

实验结果

研究问题

• RQ1 能否在具有连续变量的关系模型中高效实现精确提升推理？
• RQ2 对于连续域，提升推理的计算复杂度如何随模型规模变化？
• RQ3 提升推理在运行时间和可扩展性方面能否优于地面级推理？
• RQ4 与已知的连续模型提升方法相比，所提方法的性能提升如何？
• RQ5 该算法在实际中如何处理具有高斯势函数的关系结构？

主要发现

• 与先前提升方法的三次方时间复杂度相比，该算法在具有高斯势函数的关系模型中实现了线性时间复杂度。
• 该算法是首个针对关系连续模型的精确提升推理方法，实现了大规模场景下的精确概率推理。
• 实验结果表明，与地面级推理相比，该方法在模型规模增大时表现出显著的加速效果。
• 在真实世界的计量经济学示例中，该方法在运行时间和可扩展性方面均优于现有提升推理算法。
• 即使在包含数千个变量的大规模模型中，该算法仍能保持精确推理且无近似。
• 在具有高度对称性和重复关系模式的模型中，性能提升最为显著。