[论文解读] Contextual Symmetries in Probabilistic Graphical Models

Ankit Anand, Aditya Grover+2 more|arXiv (Cornell University)|Jun 30, 2016

Bayesian Modeling and Causal Inference参考文献 20被引用 5

一句话总结

本文引入了概率图模型中的上下文对称性——仅在特定变量赋值（上下文）下成立的对称性，推广了以往的无条件对称性。通过将上下文对称性检测问题转化为带色图同构问题，作者提出了 Con-MCMC 算法，一种利用这些对称性的 MCMC 推断方法，在关系型和命题型领域中，相较于吉布斯采样和轨道 MCMC 展现出显著的计算优势。

ABSTRACT

An important approach for efficient inference in probabilistic graphical models exploits symmetries among objects in the domain. Symmetric variables (states) are collapsed into meta-variables (meta-states) and inference algorithms are run over the lifted graphical model instead of the flat one. Our paper extends existing definitions of symmetry by introducing the novel notion of contextual symmetry. Two states that are not globally symmetric, can be contextually symmetric under some specific assignment to a subset of variables, referred to as the context variables. Contextual symmetry subsumes previous symmetry definitions and can rep resent a large class of symmetries not representable earlier. We show how to compute contextual symmetries by reducing it to the problem of graph isomorphism. We extend previous work on exploiting symmetries in the MCMC framework to the case of contextual symmetries. Our experiments on several domains of interest demonstrate that exploiting contextual symmetries can result in significant computational gains.

研究动机与目标

• 解决现有提升推理方法仅利用无条件对称性所带来的局限性，这些对称性在上下文相关领域中可能不成立。
• 提出一个正式的上下文对称性框架——仅在特定上下文变量赋值下才出现的对称性。
• 通过将问题归约为带色图同构问题，开发一种高效计算上下文对称性的算法。
• 将轨道 MCMC 框架扩展以处理上下文对称性，从而在具有上下文敏感对称性的领域中实现更高效的 MCMC 采样。
• 通过在多样化的关系型和命题型领域中进行实证评估，展示上下文对称性的实际优势。

提出的方法

• 将上下文对称性定义为在给定上下文（上下文变量赋值）下，保持图模型结构和概率分布不变的状态置换。
• 通过构建包含上下文依赖约束的模型带色图表示，将上下文对称性的计算归约为带色图同构问题。
• 利用现有的高效带色图同构求解器（如 nauty）来计算特定上下文图的自同构群。
• 设计 Con-MCMC 算法，利用上下文对称性在对称状态之间提出转移，从而减少混合时间。
• 通过在采样过程中动态计算每个上下文的对称性，将上下文对称性检测集成到 MCMC 过程中。
• 实现并发布 Con-MCMC 的参考代码库，以支持可复现性与更广泛的应用。

实验结果

研究问题

• RQ1 概率图模型中的对称性能否在变量赋值条件下定义，而不仅限于无条件对称性？
• RQ2 在实践中，如何高效计算上下文对称性？可采用哪些计算归约方法？
• RQ3 能否在通用 MCMC 推理框架中利用上下文对称性，以改善混合时间与收敛速度？
• RQ4 与现有基于对称性的推理方法相比，上下文对称性在性能与可扩展性方面表现如何？
• RQ5 在哪些类型的领域（关系型或命题型）中，上下文对称性自然出现并带来可测量的计算收益？

主要发现

• 上下文对称性通过仅在特定上下文中出现的对称性，推广并包含了以往的对称性定义（包括轨道对称性），实现了更广泛的涵盖。
• 上下文对称性的计算被归约为带色图同构问题，从而可借助成熟的求解器实现高效检测。
• 在多个领域中，Con-MCMC 在混合时间与收敛速度方面均优于吉布斯采样和轨道 MCMC。
• 在关系型与命题型模型的实验中，Con-MCMC 在具有上下文依赖对称性的领域中实现了显著的计算增益。
• 该框架具有鲁棒性：在所有实验中，Con-MCMC 的表现从未劣于吉布斯采样，即使在有证据的情况下亦然，尽管理论上可能存在病态情况。
• Con-MCMC 的开源发布为研究人员在真实推理任务中应用上下文对称性提供了实用工具。