[论文解读] How to calculate partition functions using convex programming hierarchies: provable bounds for variational methods

Andrej Risteski|arXiv (Cornell University)|Jul 11, 2016

Markov Chains and Monte Carlo Methods参考文献 24被引用 6

一句话总结

本文提出了一种可证明准确的凸变分方法，用于在伊辛模型中近似计算配分函数，采用谢拉里-阿达姆斯（Sherali-Adams）和拉塞尔（Lasserre）层次方法。通过利用基于低阶矩的熵近似，并在密集或低阈值秩图中利用全局相关性传播，该方法在相关性衰减之外实现了非平凡的近似保证，提供了首个具有理论保证的可证明凸变分框架。

ABSTRACT

We consider the problem of approximating partition functions for Ising models. We make use of recent tools in combinatorial optimization: the Sherali-Adams and Lasserre convex programming hierarchies, in combination with variational methods to get algorithms for calculating partition functions in these families. These techniques give new, non-trivial approximation guarantees for the partition function beyond the regime of correlation decay. They also generalize some classical results from statistical physics about the Curie-Weiss ferromagnetic Ising model, as well as provide a partition function counterpart of classical results about max-cut on dense graphs \cite{arora1995polynomial}. With this, we connect techniques from two apparently disparate research areas -- optimization and counting/partition function approximations. (i.e. \#-P type of problems). Furthermore, we design to the best of our knowledge the first provable, convex variational methods. Though in the literature there are a host of convex versions of variational methods \cite{wainwright2003tree, wainwright2005new, heskes2006convexity, meshi2009convexifying}, they come with no guarantees (apart from some extremely special cases, like e.g. the graph has a single cycle \cite{weiss2000correctness}). We consider dense and low threshold rank graphs, and interestingly, the reason our approach works on these types of graphs is because local correlations propagate to global correlations -- completely the opposite of algorithms based on correlation decay. In the process we design novel entropy approximations based on the low-order moments of a distribution. Our proof techniques are very simple and generic, and likely to be applicable to many other settings other than Ising models.

研究动机与目标

• 开发可证明准确的算法，用于近似传统相关性衰减方法失效的伊辛模型配分函数。
• 弥合组合优化技术与统计物理及#P类计数问题之间的鸿沟。
• 设计一种具有理论保证的凸变分方法，克服以往凸变分方法缺乏此类保证的缺陷。
• 将经典关于居里-外斯模型和密集图上最大割问题的结果推广至配分函数设定。
• 识别出结构图类——特别是密集图和低阈值秩图——其中局部相关性可诱导全局相关性，从而实现有效的近似。

提出的方法

• 该方法采用谢拉里-阿达姆斯（Sherali-Adams）和拉塞尔（Lasserre）凸规划层次方法，构建配分函数计算的逐步收紧松弛。
• 提出基于底层概率分布低阶矩的新颖熵近似，替代变分公式中传统的熵项。
• 该方法利用密集图和低阈值秩图中局部相关性向全局相关性的传播，与基于相关性衰减的方法形成对比。
• 其形式化为一个凸变分问题，目标函数结合能量项与基于矩的熵近似，确保凸性与可计算性。
• 层次级别提供系统性改进，更高层次可得到更紧的真配分函数上界。
• 理论分析表明，近似质量随层次深度增加而提升，尤其在低阈值秩图上表现更优。

实验结果

研究问题

• RQ1 能否利用凸规划层次方法推导出伊辛模型配分函数的可证明准确近似？
• RQ2 基于矩的熵近似与变分推理中标准熵项在配分函数近似中的表现有何差异？
• RQ3 在哪些图类中，全局相关性传播能实现优于相关性衰减的配分函数近似？
• RQ4 所提出的方法能否将统计物理与组合优化中的经典结果推广至配分函数设定？
• RQ5 当应用于伊辛模型时，凸变分方法的理论保证结构是什么？

主要发现

• 所提方法首次提供了伊辛模型配分函数的可证明凸变分框架，具有对近似质量的理论保证。
• 其在密集图和低阈值秩图上实现了超越相关性衰减范围的非平凡近似界。
• 该方法将经典关于居里-外斯铁磁伊辛模型和密集图上最大割问题的结果推广至配分函数语境。
• 基于低阶矩导出的基于矩的熵近似，能产生有效且可计算的配分函数凸松弛。
• 理论分析证实，局部相关性传播可实现全局近似精度，与基于相关性衰减的方法形成鲜明对比。
• 证明技术具有通用性，可能可推广至伊辛系统以外的其他模型。