[论文解读] Approximating Partition Functions in Constant Time

Vishesh Jain, Frederic Koehler+1 more|arXiv (Cornell University)|Nov 5, 2017

Markov Chains and Monte Carlo Methods参考文献 20被引用 3

一句话总结

该论文提出了一种常数时间算法，用于近似稠密图模型（包括伊辛模型和庞茨模型）的对数配分函数，利用切割分解和算法正则性引理。该方法在与 $n$ 无关的时间内实现了 $O(\epsilon \|\vec{J}\|_1)$ 的加法误差，显著优于以往 $n^{O(1/\epsilon^2)}$ 的方法，同时扩展至低阈值秩和 $k$-重交互模型。

ABSTRACT

We study approximations of the partition function of dense graphical models. Partition functions of graphical models play a fundamental role is statistical physics, in statistics and in machine learning. Two of the main methods for approximating the partition function are Markov Chain Monte Carlo and Variational Methods. An impressive body of work in mathematics, physics and theoretical computer science provides conditions under which Markov Chain Monte Carlo methods converge in polynomial time. These methods often lead to polynomial time approximation algorithms for the partition function in cases where the underlying model exhibits correlation decay. There are very few theoretical guarantees for the performance of variational methods. One exception is recent results by Risteski (2016) who considered dense graphical models and showed that using variational methods, it is possible to find an $O(εn)$ additive approximation to the log partition function in time $n^{O(1/ε^2)}$ even in a regime where correlation decay does not hold. We show that under essentially the same conditions, an $O(εn)$ additive approximation of the log partition function can be found in constant time, independent of $n$. In particular, our results cover dense Ising and Potts models as well as dense graphical models with $k$-wise interaction. They also apply for low threshold rank models.

研究动机与目标

• 开发一种常数时间算法，用于近似稠密图模型的对数配分函数，而以往方法在 $n$ 上需要多项式时间。
• 将变分近似方法扩展至实现次多项式运行时间，同时保持理论误差保证。
• 将算法正则性引理应用于图模型，特别是用于配分函数估计。
• 为伊辛模型和庞茨模型提供每格子磁化强度的常数时间近似。
• 将结果推广至 $k$-重交互模型和低阈值秩系统。

提出的方法

• 利用交互矩阵 $J$ 的切割分解，通过结构化、低复杂度的表示来近似对数配分函数。
• 应用算法正则性引理，将 $J$ 分解为 $O(\epsilon^{-2})$ 个切割矩阵，其系数有界且误差受控。
• 采用随机采样过程，在常数时间内估计每个切割矩阵对配分函数的贡献。
• 利用对数配分函数可通过优化分解组件来近似的事实，借助大数定律。
• 将弗里兹和卡南的弱正则性引理适配以处理高阶交互和低阈值秩模型。
• 通过 $J$ 的 $\ell_1$ 和 $\ell_2$ 范数建立误差界，确保加法误差为 $O(\epsilon \|\vec{J}\|_1)$。

实验结果

研究问题

• RQ1 稠密图模型的对数配分函数能否在与 $n$ 无关的常数时间内被近似？
• RQ2 当相关性衰减不成立时，算法正则性引理是否能实现配分函数的常数时间估计？
• RQ3 该方法能否扩展至 $k$-重交互模型和低阈值秩系统？
• RQ4 是否可能实现对伊辛和庞茨模型中每格子磁化强度的常数时间近似？
• RQ5 在无相关性衰减的情况下，误差界如何随 $\epsilon$ 和 $\|\vec{J}\|_1$ 变化？

主要发现

• 稠密图模型的对数配分函数可在与 $n$ 无关的常数时间内，以 $O(\epsilon \|\vec{J}\|_1)$ 的加法误差近似。
• 该算法的运行时间与稠密图上最大割问题最快已知 PTAS 相当，达到 $O(2^{\tilde{O}(1/\epsilon^2)})$ 时间。
• 该方法适用于 $k$-重交互模型，误差界按 $O(\epsilon 2^k \sqrt{N} \|\vec{J}\|_2)$ 缩放，其中 $N$ 为交互张量的维数。
• 对于低阈值秩伊辛模型，该算法通过宽度为 $O(\epsilon^{-2})$ 的切割分解，实现了 $O(\epsilon \|\vec{J}\|_1)$ 的误差。
• 该方法实现了对伊辛和庞茨模型中每格子磁化强度的常数时间近似，误差为 $O(\epsilon \|\vec{J}\|_1)$。
• 该成果首次将算法正则性引理用于配分函数估计，为次线性时间推理提供了一个新框架。