[论文解读] Lifted Relational Variational Inference

Jaesik Choi, Eyal Amir|arXiv (Cornell University)|Oct 16, 2012

Bayesian Modeling and Causal Inference参考文献 32被引用 11

一句话总结

本文提出了一种提升型关系变分推断算法，通过将大规模混合连续-离散概率模型分解为由独立同分布伯努利变量组成的变分模型，高效地实现了近似推断。通过利用提升变量消去法和随机采样，该方法在推断过程中保持了关系结构，从而实现了在复杂关系系统上的可扩展且精确的边缘概率估计。

ABSTRACT

Hybrid continuous-discrete models naturally represent many real-world applications in robotics, finance, and environmental engineering. Inference with large-scale models is challenging because relational structures deteriorate rapidly during inference with observations. The main contribution of this paper is an efficient relational variational inference algorithm that factors largescale probability models into simpler variational models, composed of mixtures of iid (Bernoulli) random variables. The algorithm takes probability relational models of largescale hybrid systems and converts them to a close-to-optimal variational models. Then, it efficiently calculates marginal probabilities on the variational models by using a latent (or lifted) variable elimination or a lifted stochastic sampling. This inference is unique because it maintains the relational structure upon individual observations and during inference steps.

研究动机与目标

• 解决大规模混合连续-离散概率模型中具有关系结构的可扩展推断挑战。
• 在条件依赖于个体观测值（通常会破坏关系因子分解）的情况下，仍能保持推断过程中的关系结构。
• 开发一种高效的变分推断框架，通过使用独立同分布伯努利随机变量的混合来近似复杂模型。
• 通过提升推断技术实现在大规模关系系统上快速且精确的边缘概率计算。
• 弥合现实应用（如机器人学和环境工程）中表达性强的关系建模与可扩展近似推断之间的差距。

提出的方法

• 该方法将大规模概率关系模型分解为由独立同分布伯努利随机变量混合组成的简化变分模型。
• 采用一种在不进行实例化的情况下作用于关系结构的提升变量消去技术，从而保持实体之间的对称性。
• 利用提升随机采样在变分模型上高效计算边缘概率。
• 该算法在推断过程中始终保持关系结构，即使在对个体观测值进行条件化后也是如此。
• 变分模型被构建为接近最优，以最小化与真实后验分布之间的Kullback-Leibler散度。
• 该方法结合了关系建模与变分推断，使大规模系统推断在不损失结构效率的前提下实现可扩展性。

实验结果

研究问题

• RQ1 在大规模混合概率模型中，如何在近似推断过程中保持关系结构？
• RQ2 能否通过利用对称性和独立同分布因子分解，使变分推断在关系模型中实现可扩展且高效？
• RQ3 在混合连续-离散系统中应用提升推断技术的性能如何？
• RQ4 与标准推断方法相比，该方法在准确性和可扩展性方面表现如何？
• RQ5 在关系系统中，提升变分推断能否在显著降低计算成本的同时保持高准确性？

主要发现

• 所提出的算法通过避免对模型进行完整实例化，实现了显著的计算节省，从而能够在大规模关系系统上进行推断。
• 提升推断在观测和传播过程中保持了关系结构，防止了标准方法中常见的快速退化现象。
• 通过独立同分布伯努利混合构建的变分模型，对真实后验分布提供了接近最优的近似。
• 提升变量消去法与随机采样相结合，实现了无需显式枚举所有变量的高效边缘概率计算。
• 该方法在机器人学、金融和环境工程等现实应用中表现出良好的可扩展性和准确性。
• 实验结果表明，该方法在运行时间和可扩展性方面优于标准推断技术，同时保持了高准确性。