[論文レビュー] A Faster Approximation Algorithm for the Gibbs Partition Function

Vladimir Kolmogorov|arXiv (Cornell University)|Aug 15, 2016

Markov Chains and Monte Carlo Methods参考文献 18被引用数 7

ひとこと要約

本稿では、Huberの手法の洗練された解析を通じて、Gibbs分配関数の近似速度を向上させるアルゴリズムを提示している。オラクル呼び出し回数の期待値を、従来の $ O(q\ln n \cdot [\ln q + \ln\ln n + \varepsilon^{-2}]) $ から $ O(q\ln n \cdot \varepsilon^{-2}) $ に削減し、より高い効率を達成している。さらに、正確なサンプリングオラクルに代えて、変動距離 $ O(\varepsilon^2 / (q\ln n)) $ 以内の近似サンプリングオラクルを用いても、同じ複雑さが保たれることを示しており、自然な計算モデル下での $ \Omega(q \cdot \varepsilon^{-2}) $ の下界が確立されている。

ABSTRACT

We consider the problem of estimating the partition function $Z(β)=\sum_x \exp(-β(H(x))$ of a Gibbs distribution with a Hamilton $H(\cdot)$, or more precisely the logarithm of the ratio $q=\ln Z(0)/Z(β)$. It has been recently shown how to approximate $q$ with high probability assuming the existence of an oracle that produces samples from the Gibbs distribution for a given parameter value in $[0,β]$. The current best known approach due to Huber [9] uses $O(q\ln n\cdot[\ln q + \ln \ln n+\varepsilon^{-2}])$ oracle calls on average where $\varepsilon$ is the desired accuracy of approximation and $H(\cdot)$ is assumed to lie in $\{0\}\cup[1,n]$. We improve the complexity to $O(q\ln n\cdot\varepsilon^{-2})$ oracle calls. We also show that the same complexity can be achieved if exact oracles are replaced with approximate sampling oracles that are within $O(\frac{\varepsilon^2}{q\ln n})$ variation distance from exact oracles. Finally, we prove a lower bound of $Ω(q\cdot \varepsilon^{-2})$ oracle calls under a natural model of computation.

研究の動機と目的

• 精度 $ \varepsilon $ で Gibbs分配関数比 $ q = \ln Z(0)/Z(\beta) $ を近似するのに必要なオラクル呼び出し回数の期待値を改善すること。
• 指定された変動距離内での近似サンプリングオラクルに対しても、アルゴリズムのロバスト性を拡張すること。
• 自然な計算モデル下で、このような近似に必要なオラクル呼び出し回数の下界を確立すること。
• 統計物理学および組合せ的カウント問題における分配関数推定のための、よりタイトな複雑さの上限を提供すること。

提案手法

• 分配関数比の対数の推定に、Huberのサンプリングに基づく手法を採用・洗練すること。
• 濃度解析を洗練させることで、$ \ln q $ および $ \ln\ln n $ に依存する項を削減し、漸近的複雑さからこれらを排除すること。
• カップリングの議論を用いて、正確な分布からの変動距離が $ O(\varepsilon^2 / (q\ln n)) $ 以内の近似オラクルでも、同じ複雑さが保たれることを示すこと。
• サンプリングプロセスの連続時間ランダムウォーク近似に基づく下界モデルを構築すること。
• 正の値の減少列 $ a_k = 2^{1-k} $ を用いて、対数分配関数の2階微分の上限を導出すること。
• 対数分配関数の最大曲率 $ \kappa $ を用いて、推定器の分散を制御し、下界を導出すること。

実験結果

リサーチクエスチョン

• RQ1 Gibbs分配関数の近似に必要なオラクル複雑さは、現在の最先端の $ O(q\ln n \cdot [\ln q + \ln\ln n + \varepsilon^{-2}]) $ よりも改善可能か？
• RQ2 正確なオラクルの代わりに近似サンプリングオラクルを用いた場合でも、改善された複雑さが保たれるか？
• RQ3 自然な計算モデル下で、このような近似に必要なオラクル呼び出し回数の最適下界は何か？
• RQ4 $ \ln q $ および $ \ln\ln n $ に依存する項をオラクル複雑さから完全に排除できるか？
• RQ5 提案されたアルゴリズムの複雑さは、定数倍の意味でタイトか？

主な発見

• オラクル呼び出し回数の期待値が $ O(q\ln n \cdot \varepsilon^{-2}) $ に削減され、従来の研究で見られた $ \ln q $ および $ \ln\ln n $ への依存が完全に排除された。
• 正確な分布からの変動距離が $ O(\varepsilon^2 / (q\ln n)) $ 以内の近似サンプリングオラクルを用いても、同じ複雑さの上限が成立する。
• 自然な計算モデル下で、$ \Omega(q \cdot \varepsilon^{-2}) $ の一致する下界が証明され、アルゴリズムの複雑さが漸近的に最適であることが示された。
• 解析により、推定器の分散が対数分配関数の曲率によって制御され、その曲率が減少列 $ a_k $ を用いて有界であることが明らかになった。
• 下界の構築には、サンプリングプロセスの連続的近似が用いられ、対数分配関数の最大2階微分 $ \kappa $ に対する上限に依存している。
• 結果として、アルゴリズムは定数倍の意味で最適であり、高精度近似に必要な複雑さが、必要かつ十分であることが示された。