[論文レビュー] The Mean-Field Approximation: Information Inequalities, Algorithms, and Complexity

Vishesh Jain, Frederic Koehler+1 more|arXiv (Cornell University)|Feb 16, 2018

Quantum Computing Algorithms and Architecture被引用数 8

ひとこと要約

この論文は、情報不等式と組合せ最適化を活用して、真のイジングモデル分布とその平均場近似の間のカルバック・ライブラー発散のタイトで最適な上限を確立する。さらに、追加誤差 $ epsilon n\|J\|_F$ 内で自由エネルギーを時間 $ exp( text{poly}(1/\nepsilon))$ で近似する効率的なアルゴリズムを開発し、定数要因未満の改善がNP困難であることを証明する。また、強磁性およびドブリージン条件を満たすモデルに対してはより高速なアルゴリズムを提供する。

ABSTRACT

The mean field approximation to the Ising model is a canonical variational tool that is used for analysis and inference in Ising models. We provide a simple and optimal bound for the KL error of the mean field approximation for Ising models on general graphs, and extend it to higher order Markov random fields. Our bound improves on previous bounds obtained in work in the graph limit literature by Borgs, Chayes, Lov\\'asz, S\\'os, and Vesztergombi and another recent work by Basak and Mukherjee. Our bound is tight up to lower order terms. Building on the methods used to prove the bound, along with techniques from combinatorics and optimization, we study the algorithmic problem of estimating the (variational) free energy for Ising models and general Markov random fields. For a graph $G$ on $n$ vertices and interaction matrix $J$ with Frobenius norm $\\| J \\|_F$, we provide algorithms that approximate the free energy within an additive error of $\\epsilon n \\|J\\|_F$ in time $\\exp(poly(1/\\epsilon))$. We also show that approximation within $(n \\|J\\|_F)^{1-\\delta}$ is NP-hard for every $\\delta > 0$. Finally, we provide more efficient approximation algorithms, which find the optimal mean field approximation, for ferromagnetic Ising models and for Ising models satisfying Dobrushin's condition.

研究の動機と目的

• 真のイジングモデルとその平均場近似の間のKL発散の鋭い最適な境界を確立し、先行研究のグラフ極限および変分境界を改善すること。
• 指定された加法的誤差内でのイジングモデルおよび高次マルコフ確率場の自由エネルギー近似のための効率的アルゴリズムを開発すること。
• 自由エネルギー近似の計算複雑性を特定し、最適誤差の定数要因未満での近似がNP困難であることを示すこと。
• 強磁性イジングモデルおよびドブリージン条件を満たすモデルに対して、より高速な特化型アルゴリズムを提供すること。
• 変分推論における情報理論的境界と組合せ最適化のアルゴリズム的手法を統合し、最適な変分近似を導くこと。

提案手法

• 情報不等式と変分原理を用いて、真の分布と平均場分布の間のKL発散のタイトな境界を導出する。
• Frieze-Kannanのアルゴリズム的正則性補題を適用し、誤差を制御した低ランクカット行列の和に相互作用行列 $J$ を分解する。
• 共通の細分化によるパーティションのリファインメントを通じて、高次元の自由エネルギー最大化問題をブロック定数変数上の低次元凸計画問題に還元する。
• 楕円体法を用いて、指数関数的に小さい誤差で、時間 $\nexp(\ntext{poly}(1/\nepsilon))$ で得られた凸計画問題を近似的に解く。
• 強磁性およびドブリージン条件を満たすモデルの構造を活用し、より効率的な多項式時間アルゴリズムを設計する。
• 最大エントロピー定式化を用いて、自由エネルギーをモーメント制約下でのエントロピー最大化に関連づけ、凸最適化による効率的計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 真のイジングモデルとその平均場近似の間のKL発散の最もタイトな境界は何か？ そして、先行研究と比較してどう異なるか？
• RQ2 一般のイジングモデルの自由エネルギーは、指定された加法的誤差内ですばやく近似可能か？
• RQ3 最適誤差の定数要因未満での自由エネルギー近似の計算複雑性は何か？
• RQ4 平均場近似と自由エネルギー推定をより迅速に計算可能な、特化したイジングモデルのクラスは存在するか？
• RQ5 情報理論的境界とアルゴリズム的手法をどのように統合することで、最適な変分近似が得られるか？

主な発見

• 本論文は、BorgsらおよびBasakとMukherjeeの先行研究を改善する、平均場近似のKL誤差に対するタイトな境界を確立し、低次の項を除いて最適である。
• 加法的誤差 $\nepsilon n\|J\|_F$ 内で自由エネルギーを時間 $\nexp(\ntext{poly}(1/\nepsilon))$ で近似するアルゴリズムが開発され、固定された $\nepsilon$ に対して効率的である。
• 任意の $\delta > 0$ に対して、$(n\|J\|_F)^{1-\delta}$ の誤差内での自由エネルギー近似がNP困難であることを証明し、強い計算困難性の閾値を確立した。
• 強磁性イジングモデルおよびドブリージン条件を満たすモデルに対しては、最適な平均場近似を計算するより高速な多項式時間アルゴリズムを提供した。
• 行列分解、凸緩和、および細分化されたパーティション上でのエントロピー最大化を組み合わせることで、高精度な自由エネルギー推定を達成した。
• 理論的枠組みは、変分推論、情報理論、計算複雑性を統合し、平均場近似の包括的な分析を提供した。