[論文レビュー] Approximating Partition Functions in Constant Time

Vishesh Jain, Frederic Koehler+1 more|arXiv (Cornell University)|Nov 5, 2017

Markov Chains and Monte Carlo Methods参考文献 20被引用数 3

ひとこと要約

本稿では、カット分解とアルゴリズム的正則性補題を用いて、密度の高いグラフィカルモデル（イジングモデルやポッツモデルを含む）の対数パーティション関数を定数時間で近似するアルゴリズムを提示する。$n$に依存しない時間で $O(\epsilon \|\vec{J}\|_1)$ の加法的誤差を達成しており、従来の $n^{O(1/\epsilon^2)}$ 法より顕著に改善され、低閾値ランクおよび $k$-項相互作用モデルへも拡張可能である。

ABSTRACT

We study approximations of the partition function of dense graphical models. Partition functions of graphical models play a fundamental role is statistical physics, in statistics and in machine learning. Two of the main methods for approximating the partition function are Markov Chain Monte Carlo and Variational Methods. An impressive body of work in mathematics, physics and theoretical computer science provides conditions under which Markov Chain Monte Carlo methods converge in polynomial time. These methods often lead to polynomial time approximation algorithms for the partition function in cases where the underlying model exhibits correlation decay. There are very few theoretical guarantees for the performance of variational methods. One exception is recent results by Risteski (2016) who considered dense graphical models and showed that using variational methods, it is possible to find an $O(εn)$ additive approximation to the log partition function in time $n^{O(1/ε^2)}$ even in a regime where correlation decay does not hold. We show that under essentially the same conditions, an $O(εn)$ additive approximation of the log partition function can be found in constant time, independent of $n$. In particular, our results cover dense Ising and Potts models as well as dense graphical models with $k$-wise interaction. They also apply for low threshold rank models.

研究の動機と目的

• 密度的グラフィカルモデルの対数パーティション関数を、$n$ に多項式時間が必要な従来手法とは異なり、定数時間で近似するアルゴリズムの開発。
• 変分近似手法を拡張し、理論的誤差保証を維持したまま、多項式時間未満の実行時間（サブ多項式時間）を達成すること。
• アルゴリズム的正則性補題をグラフィカルモデルに適用し、特にパーティション関数の推定に応用すること。
• イジングモデルおよびポッツモデルにおけるスピンあたりの磁化の定数時間近似を提供すること。
• $k$-項相互作用モデルおよび低閾値ランク系への一般化。

提案手法

• 相互作用行列 $J$ のカット分解を用い、構造的かつ低複雑性の表現により対数パーティション関数を近似する。
• アルゴリズム的正則性補題を用いて、$J$ を $O(\epsilon^{-2})$ 個のカット行列に分解し、有界な係数と制御された誤差を持つようにする。
• 各カット行列がパーティション関数に与える寄与を、確率的サンプリング手順により定数時間で推定する。
• 対数パーティション関数が、分解された成分の最適化によって近似可能であり、測度の集中性を活用している事実を応用する。
• フリーズとカンナンの弱正則性補題を拡張し、高次相互作用および低閾値ランクモデルに対応可能にする。
• 誤差境界を $J$ の $\ell_1$ および $\ell_2$ ノルムを用いて導出し、加法的誤差 $O(\epsilon \|\vec{J}\|_1)$ を保証する。

実験結果

リサーチクエスチョン

• RQ1 密度的グラフィカルモデルの対数パーティション関数は、$n$ に依存しない定数時間で近似可能か？
• RQ2 相関崩壊が成立しないモデルにおいて、アルゴリズム的正則性補題がパーティション関数の定数時間推定を可能にするか？
• RQ3 本手法は $k$-項相互作用モデルおよび低閾値ランク系へ拡張可能か？
• RQ4 イジングモデルおよびポッツモデルにおけるスピンあたりの磁化の定数時間近似は可能か？
• RQ5 相関崩壊が成立しない状況下で、誤差境界は $\epsilon$ および $\|\vec{J}\|_1$ に対してどのようにスケーリングするか？

主な発見

• 密度的グラフィカルモデルの対数パーティション関数は、$n$ に依存しない定数時間で、$O(\epsilon \|\vec{J}\|_1)$ の加法的誤差で近似可能である。
• 本アルゴリズムは、密度グラフ上の Max-Cut の最速既知の PTAS と同等の実行時間 $O(2^{\tilde{O}(1/\epsilon^2)})$ を達成する。
• 本手法は $k$-項相互作用モデルへも適用可能であり、$N$ 次元の相互作用テンソルに対して誤差境界が $O(\epsilon 2^k \sqrt{N} \|\vec{J}\|_2)$ にスケーリングする。
• 低閾値ランクイジングモデルでは、幅 $O(\epsilon^{-2})$ のカット分解を用いて $O(\epsilon \|\vec{J}\|_1)$ の誤差を達成する。
• 本手法により、イジングモデルおよびポッツモデルにおけるスピンあたりの磁化の定数時間近似が可能となり、誤差は $O(\epsilon \|\vec{J}\|_1)$ である。
• 本研究は、パーティション関数推定にアルゴリズム的正則性補題を初めて適用し、サブ線形時間推論のための新たなフレームワークを提供する。