[論文レビュー] How to calculate partition functions using convex programming hierarchies: provable bounds for variational methods

Andrej Risteski|arXiv (Cornell University)|Jul 11, 2016

Markov Chains and Monte Carlo Methods参考文献 24被引用数 6

ひとこと要約

この論文は、Sherali-AdamsおよびLasserre階層を用いて、イジング模型における分配関数の近似に、証明可能な精度を持つ凸変分法を導入する。低次のモーメントに基づくエントロピー近似と、密な／低閾値ランクのグラフにおけるグローバル相関の伝播を活用することで、相関減衰の範囲を超えた非自明な近似保証を達成し、理論的保証を備えた最初の凸変分フレームワークを提供する。

ABSTRACT

We consider the problem of approximating partition functions for Ising models. We make use of recent tools in combinatorial optimization: the Sherali-Adams and Lasserre convex programming hierarchies, in combination with variational methods to get algorithms for calculating partition functions in these families. These techniques give new, non-trivial approximation guarantees for the partition function beyond the regime of correlation decay. They also generalize some classical results from statistical physics about the Curie-Weiss ferromagnetic Ising model, as well as provide a partition function counterpart of classical results about max-cut on dense graphs \cite{arora1995polynomial}. With this, we connect techniques from two apparently disparate research areas -- optimization and counting/partition function approximations. (i.e. \#-P type of problems). Furthermore, we design to the best of our knowledge the first provable, convex variational methods. Though in the literature there are a host of convex versions of variational methods \cite{wainwright2003tree, wainwright2005new, heskes2006convexity, meshi2009convexifying}, they come with no guarantees (apart from some extremely special cases, like e.g. the graph has a single cycle \cite{weiss2000correctness}). We consider dense and low threshold rank graphs, and interestingly, the reason our approach works on these types of graphs is because local correlations propagate to global correlations -- completely the opposite of algorithms based on correlation decay. In the process we design novel entropy approximations based on the low-order moments of a distribution. Our proof techniques are very simple and generic, and likely to be applicable to many other settings other than Ising models.

研究の動機と目的

• 従来の相関減衰法が不適切となるようなイジング模型の分配関数近似のための、証明可能な精度を持つアルゴリズムの開発。
• 組合せ最適化技法と統計物理学、および#P型の数え上げ問題を統合すること。
• 理論的保証を備えた凸変分法の設計により、先行する凸変分手法に欠如していた保証の欠如を解消すること。
• 古典的なCurie-Weiss模型に関する結果や、密なグラフ上のmax-cut問題を、分配関数設定へ一般化すること。
• 局所的相関がグローバル相関を引き起こす構造的グラフクラス（特に密なグラフおよび低閾値ランクグラフ）を同定し、効果的な近似を可能にする。

提案手法

• 方法は、分配関数計算のよりタイトな緩和を構築するために、Sherali-AdamsおよびLasserreの凸計画法階層を用いる。
• 従来の変分形式におけるエントロピー項の代わりに、元の確率分布の低次のモーメントに基づく新しいエントロピー近似を導入する。
• 相関減衰に基づく手法とは対照的に、密なおよび低閾値ランクのグラフにおける局所的相関のグローバル相関への伝播を活用する。
• エネルギー項とモーメントに基づくエントロピー近似を組み合わせた目的関数を有する凸変分問題を定式化し、凸性と実行可能性を保証する。
• 階層のレベルが上位になるほど、真の分配関数に対するタイトな境界が得られるという、体系的な改良が可能である。
• 理論的解析により、階層の深さが増すほど近似の精度が向上することが示され、特に低閾値ランクのグラフにおいて顕著である。

実験結果

リサーチクエスチョン

• RQ1 凸計画法階層を用いて、イジング模型の分配関数に対する証明可能な精度の近似を導出できるか？
• RQ2 変分推論における分配関数の近似において、モーメントに基づくエントロピー近似は、標準的なエントロピー項と比べてどのように異なるか？
• RQ3 どのグラフクラスにおいて、グローバル相関の伝播が相関減衰法よりも優れた分配関数近似を可能にするか？
• RQ4 提案手法は、統計物理学および組合せ最適化からの古典的結果を、分配関数設定へ一般化できるか？
• RQ5 イジング模型に適用された凸変分法の理論的保証構造はいかなるものか？

主な発見

• 提案手法は、分配関数の証明可能な凸変分フレームワークを初めて提供し、近似品質に関する理論的保証を有する。
• 特に密なグラフおよび低閾値ランクのグラフにおいて、相関減衰の範囲を超えた非自明な近似境界を達成する。
• 古典的なCurie-Weiss強磁性イジング模型に関する結果および、密なグラフ上のmax-cut問題を、分配関数設定へ一般化する。
• 低次のモーメントから導出されたモーメントに基づくエントロピー近似は、分配関数の有効かつ実行可能な凸緩和を提供する。
• 理論的解析により、局所的相関の伝播がグローバルな近似精度を可能にすることが確認され、相関減衰法とは対照的である。
• 証明技法は汎用的であり、イジング系を超える他のモデルへも応用可能である可能性が高い。