[论文解读] Non-Count Symmetries in Boolean & Multi-Valued Prob. Graphical Models

Ankit Anand, Ritesh Noothigattu+1 more|arXiv (Cornell University)|Apr 10, 2017

Bayesian Modeling and Causal Inference被引用 1

一句话总结

本文引入变量-值（VV）对称性，将提升推理从传统布尔型和多值概率图模型中的计数对称性扩展至更广范围。通过在VV层面重新定义对称性计算，作者提出了VV-轨道MCMC与NEC-轨道MCMC，利用非计数和非等基数对称性，在Curriculum和Ring等真实世界领域中实现了显著的计算加速。

ABSTRACT

Lifted inference algorithms commonly exploit symmetries in a probabilistic graphical model (PGM) for efficient inference. However, existing algorithms for Boolean-valued domains can identify only those pairs of states as symmetric, in which the number of ones and zeros match exactly (count symmetries). Moreover, algorithms for lifted inference in multi-valued domains also compute a multi-valued extension of count symmetries only. These algorithms miss many symmetries in a domain. In this paper, we present first algorithms to compute non-count symmetries in both Boolean-valued and multi-valued domains. Our methods can also find symmetries between multi-valued variables that have different domain cardinalities. The key insight in the algorithms is that they change the unit of symmetry computation from a variable to a variable-value (VV) pair. Our experiments find that exploiting these symmetries in MCMC can obtain substantial computational gains over existing algorithms.

研究动机与目标

• 解决现有提升推理算法仅能检测布尔型和多值领域中计数对称性的局限性。
• 开发一种新框架，用于识别在对称状态间值计数不同的非计数对称性。
• 将该框架扩展至处理不同域基数变量之间的非等基数对称性。
• 设计一种轨道MCMC的Metropolis-Hastings扩展，以利用非等基数对称性。
• 通过实证验证，这些新对称性可在MCMC推理中带来显著的计算增益。

提出的方法

• 将对称性计算从变量重新定义为变量-值（VV）对，从而实现不同变量间不同值的互换。
• 将VV自同构群定义为作用于VV对上的置换群，推广传统变量对称群。
• 设计一种算法，利用图同构技术在构建的VV交互图上计算VV自同构群。
• 通过允许来自不同基数变量的VV对之间对称，将框架扩展以检测非等基数对称性。
• 设计NEC-轨道MCMC，即轨道MCMC的Metropolis-Hastings变体，利用非等基数对称性实现高效采样。
• 使用基于轨道的状态聚类以减少冗余计算，并在MCMC中应用对称感知的提议分布。

实验结果

研究问题

• RQ1 在布尔型和多值PGM中，是否可以识别出超出精确值计数匹配的对称性？
• RQ2 是否可以基于变量-值（VV）对而非仅变量来定义和计算对称性？
• RQ3 是否可以检测并利用变量间域基数不同的非等基数对称性？
• RQ4 通过利用这些新对称类，是否可显著加速MCMC推理？
• RQ5 所提出的算法在实践中与现有基线方法（如轨道MCMC和普通Gibbs采样）相比表现如何？

主要发现

• 在消息传递领域，VV-轨道MCMC相较于轨道MCMC和普通Gibbs采样实现了显著加速，而该领域中计数对称性已不足以提供优势。
• 在Curriculum领域，NEC-轨道MCMC优于二值化轨道MCMC和普通Gibbs采样，该领域存在非等基数对称性。
• 对称性检测的开销极低——Curriculum领域为0.250秒，Ring领域为0.009秒，表明其具备良好的可扩展性。
• 在不存在非计数对称性的领域中，所提算法性能几乎与二值化轨道MCMC相当，表明无显著额外开销。
• 结果表明，非计数与非等基数对称性在真实世界模型中普遍存在，且可被有效利用以加速推理。
• 该框架所支持的对称类范围显著超过以往认知，极大地扩展了提升推理的应用范围。