[論文レビュー] General Lower Bounds based on Computer Generated Higher Order Expansions

M.A.R. Leisink, Hilbert J. Kappen|arXiv (Cornell University)|Dec 12, 2012

Markov Chains and Monte Carlo Methods参考文献 7被引用数 12

ひとこと要約

本稿では、高次展開を用いて任意の精度で指数関数の一般化された下界を生成するコンピュータ生成アルゴリズムを提示する。ボルツマン機械の分配関数にこの手法を適用することで、9次までの解析的最適化された変分下界が得られ、TAP近似を超える補正としての実用的計算可能性と有効性が示された。

ABSTRACT

In this article we show the rough outline of a computer algorithm to generate lower bounds on the exponential function of (in principle) arbitrary precision. We implemented this to generate all necessary analytic terms for the Boltzmann machine partition function thus leading to lower bounds of any order. It turns out that the extra variational parameters can be optimized analytically. We show that bounds upto nineth order are still reasonably calculable in practical situations. The generated terms can also be used as extra correction terms (beyond TAP) in mean field expansions.

研究の動機と目的

• 任意の精度で指数関数の下界を生成する一般化されたアルゴリズムの開発。
• 統計力学モデルにおける平均場近似の改善のため、ボルツマン機械の分配関数に高次展開を適用すること。
• 展開に導入された追加の変分パラメータの解析的最適化を可能とすること。
• 実世界のシナリオにおいて9次までの下界の実用的計算可能性を示すこと。
• 生成された展開項を用いてTAP近似を超える補正項を提供すること。

提案手法

• 本手法は、分配関数の対数関数に対するコンピュータ生成による高次テイラー展開に類似した展開を用いる。
• これらの展開に基づき、追加の変分パラメータを導入した変分下界を定式化する。
• 展開項の構造を活用して、変分パラメータを解析的に最適化する。
• 任意の所望の近似次数に対して、必要なすべての解析的項を体系的に生成するアルゴリズムである。
• このアプローチはボルツマン機械モデルに適用され、その分配関数の下界を計算する。
• 得られた下界は、実用的状況において9次まで計算可能であることが示された。

実験結果

リサーチクエスチョン

• RQ1 体系的かつコンピュータ生成された手法が、任意の精度で指数関数の下界を生成できるか？
• RQ2 高次展開は、統計力学モデルにおける平均場近似をどのように改善できるか？
• RQ3 展開に導入された変分パラメータの解析的最適化は、どの程度達成可能か？
• RQ4 実際のモデル（例：ボルツマン機械）において、このような高次下界の実用的計算限界はどこか？
• RQ5 生成された項は、TAP近似を超える有効な補正項として機能できるか？

主な発見

• アルゴリズムは、コンピュータによる自動化された高次展開を通じて、任意の精度で指数関数の下界を効果的に生成できた。
• ボルツマン機械の分配関数に必要なすべての解析的項を、この手法を用いて体系的に導出可能である。
• 展開に導入された追加の変分パラメータは解析的に最適化可能であり、計算を簡素化した。
• 9次までの下界は、実用的応用において依然として計算可能である。
• 生成された項は、平均場展開におけるTAP近似を超える有効な補正項を提供した。
• 本手法はスケーラビリティと精度を示し、高次統計的近似のための堅牢なフレームワークを提供した。