[论文解读] Automorphism Groups of Graphical Models and Lifted Variational Inference

Hung Bui, Tuyen N. Huynh+1 more|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 19被引用 48

一句话总结

本文引入自同构群作为概率图模型中对称性的形式化框架，通过将变量和特征分组为具有相同边缘分布的轨道（orbit），实现了提升的变分推断。该方法提出了首个利用环路约束实现更紧边界估计的提升变分推断算法，在指数族模型中显著降低了MAP推断的计算复杂度。

ABSTRACT

Using the theory of group action, we first introduce the concept of the automorphism group of an exponential family or a graphical model, thus formalizing the general notion of symmetry of a probabilistic model. This automorphism group provides a precise mathematical framework for lifted inference in the general exponential family. Its group action partitions the set of random variables and feature functions into equivalent classes (called orbits) having identical marginals and expectations. Then the inference problem is effectively reduced to that of computing marginals or expectations for each class, thus avoiding the need to deal with each individual variable or feature. We demonstrate the usefulness of this general framework in lifting two classes of variational approximation for maximum a posteriori (MAP) inference: local linear programming (LP) relaxation and local LP relaxation with cycle constraints; the latter yields the first lifted variational inference algorithm that operates on a bound tighter than the local constraints.

研究动机与目标

• 使用群论，特别是指数族的自同构群，对概率模型中的对称性进行形式化。
• 通过基于轨道的变量与特征分组，利用对称性降低MAP推断的复杂度。
• 开发在聚合类（aggregated classes）上而非单个变量上运行的提升变分推断方法。
• 将局部线性规划松弛方法扩展至包含环路约束，以在提升推断中获得更紧的边界。
• 为适用于多种图模型的提升推断提供一个通用的数学框架。

提出的方法

• 将图模型的自同构群定义为保持模型结构与参数不变的置换集合。
• 利用群作用将随机变量与特征函数划分为轨道，其中轨道内所有元素具有相同的边缘分布与期望值。
• 在轨道上而非单个变量上进行变分推断，将问题规模降低数个数量级。
• 对每个轨道应用局部线性规划松弛，并引入环路约束以在仅依赖局部约束的基础上进一步收紧边界。
• 利用轨道结构，通过感知对称性的优化方法高效计算近似边缘分布与期望值。
• 将提升框架整合至变分推断中，用于指数族模型中的最大后验估计。

实验结果

研究问题

• RQ1 如何使用群论形式化捕捉图模型中的对称性？
• RQ2 自同构群能否用于降低指数族中变分推断的复杂度？
• RQ3 将环路约束引入提升变分推断会产生何种影响？
• RQ4 提升推断能否获得比标准局部松弛方法更紧的边界？
• RQ5 基于轨道的聚合如何提升MAP推断的可扩展性？

主要发现

• 自同构群为识别概率模型中对称的变量与特征提供了精确的数学框架。
• 处于同一轨道内的变量与特征具有相同的边缘分布与期望值，从而可在推断中实现聚合。
• 通过将变量分组为轨道，提升变分推断显著减少了需计算的变量数量，极大提升了可扩展性。
• 所提出的结合环路约束的方法获得的变分边界比仅使用局部约束更紧，使其成为首个实现边界紧致性改进的提升算法。
• 该框架通过在轨道层级上操作而非单个变量，实现了高效的MAP推断。
• 实验结果表明，对称性利用可在不损失推断质量的前提下带来显著的计算节省。