[论文解读] A Faster Approximation Algorithm for the Gibbs Partition Function

Vladimir Kolmogorov|arXiv (Cornell University)|Aug 15, 2016

Markov Chains and Monte Carlo Methods参考文献 18被引用 7

一句话总结

本文通过改进Huber方法的分析，提出了一种更快的吉布斯配分函数近似算法，将期望的预言机调用次数从 $ O(q\ln n \cdot [\ln q + \ln\ln n + \varepsilon^{-2}]) $ 降低至 $ O(q\ln n \cdot \varepsilon^{-2}) $，从而实现了更高的效率。此外，研究进一步表明，当采样预言机在 $ O(\varepsilon^2 / (q\ln n)) $ 变分距离范围内近似时，相同的复杂度依然成立，并在自然计算模型下建立了匹配的 $ \Omega(q \cdot \varepsilon^{-2}) $ 下界。

ABSTRACT

We consider the problem of estimating the partition function $Z(β)=\sum_x \exp(-β(H(x))$ of a Gibbs distribution with a Hamilton $H(\cdot)$, or more precisely the logarithm of the ratio $q=\ln Z(0)/Z(β)$. It has been recently shown how to approximate $q$ with high probability assuming the existence of an oracle that produces samples from the Gibbs distribution for a given parameter value in $[0,β]$. The current best known approach due to Huber [9] uses $O(q\ln n\cdot[\ln q + \ln \ln n+\varepsilon^{-2}])$ oracle calls on average where $\varepsilon$ is the desired accuracy of approximation and $H(\cdot)$ is assumed to lie in $\{0\}\cup[1,n]$. We improve the complexity to $O(q\ln n\cdot\varepsilon^{-2})$ oracle calls. We also show that the same complexity can be achieved if exact oracles are replaced with approximate sampling oracles that are within $O(\frac{\varepsilon^2}{q\ln n})$ variation distance from exact oracles. Finally, we prove a lower bound of $Ω(q\cdot \varepsilon^{-2})$ oracle calls under a natural model of computation.

研究动机与目标

• 改进近似吉布斯配分函数比值 $ q = \ln Z(0)/Z(\beta) $ 所需的期望预言机调用次数，精度为 $ \varepsilon $。
• 将算法的鲁棒性扩展至在指定变分距离内的近似采样预言机。
• 在自然计算模型下，建立所需预言机调用次数的匹配下界。
• 为统计物理和组合计数问题中的配分函数估计提供更紧致的复杂度界。

提出的方法

• 采用并改进Huber基于采样的方法，用于估计配分函数对数比值。
• 通过精细化的集中分析，减少对 $ \ln q $ 和 $ \ln\ln n $ 的依赖，从而从渐近复杂度中消除这些项。
• 应用耦合论证，证明在变分距离为 $ O(\varepsilon^2 / (q\ln n)) $ 以内的近似预言机仍能保持相同的复杂度。
• 基于采样过程的连续时间随机游走近似，构建下界模型。
• 通过一系列递减的正数 $ a_k = 2^{1-k} $，推导出对数配分函数的二阶导数的界。
• 利用对数配分函数的最大曲率 $ \kappa $ 来控制估计量的方差，并推导出下界。

实验结果

研究问题

• RQ1 能否将近似吉布斯配分函数的预言机复杂度改进至超越当前最优的 $ O(q\ln n \cdot [\ln q + \ln\ln n + \varepsilon^{-2}]) $？
• RQ2 当使用近似采样预言机而非精确预言机时，改进后的复杂度是否依然成立？
• RQ3 在自然计算模型下，此类近似所需的预言机调用次数的最优下界是什么？
• RQ4 能否从预言机复杂度中完全消除对 $ \ln q $ 和 $ \ln\ln n $ 的依赖？
• RQ5 所提算法的复杂度是否在常数因子意义下紧致？

主要发现

• 期望的预言机调用次数降低至 $ O(q\ln n \cdot \varepsilon^{-2}) $，消除了先前工作中存在的 $ \ln q $ 和 $ \ln\ln n $ 依赖。
• 当使用在 $ O(\varepsilon^2 / (q\ln n)) $ 变分距离内近似于精确分布的采样预言机时，相同的复杂度界依然成立。
• 在自然计算模型下证明了匹配的 $ \Omega(q \cdot \varepsilon^{-2}) $ 下界，表明该算法的复杂度渐近最优。
• 分析表明，估计量的方差由对数配分函数的曲率控制，而该曲率通过一系列递减的 $ a_k $ 值得到有界。
• 下界构造基于采样过程的连续近似，并依赖于对数配分函数最大二阶导数 $ \kappa $ 的界。
• 结果表明，该算法在常数因子意义下最优，且改进后的复杂度对于高精度近似而言既是必要也是充分的。