[论文解读] General Lower Bounds based on Computer Generated Higher Order Expansions

M.A.R. Leisink, Hilbert J. Kappen|arXiv (Cornell University)|Dec 12, 2012

Markov Chains and Monte Carlo Methods参考文献 7被引用 12

一句话总结

本文提出一种由计算机生成的算法，通过高阶展开实现对指数函数的通用下界估计，精度任意。将该方法应用于玻尔兹曼机配分函数时，作者推导出最高至九阶的解析优化变分下界，展示了其在实际计算中的可行性与作为TAP近似之外校正项的实用性。

ABSTRACT

In this article we show the rough outline of a computer algorithm to generate lower bounds on the exponential function of (in principle) arbitrary precision. We implemented this to generate all necessary analytic terms for the Boltzmann machine partition function thus leading to lower bounds of any order. It turns out that the extra variational parameters can be optimized analytically. We show that bounds upto nineth order are still reasonably calculable in practical situations. The generated terms can also be used as extra correction terms (beyond TAP) in mean field expansions.

研究动机与目标

• 开发一种通用算法，通过任意精度的高阶展开生成对指数函数的下界估计。
• 将高阶展开应用于玻尔兹曼机配分函数，以改进近似效果。
• 实现展开过程中引入的额外变分参数的解析优化。
• 在真实场景中证明最高至九阶的下界具有实际计算可行性。
• 利用生成的展开项提供超越TAP近似的校正项。

提出的方法

• 该方法采用计算机生成的配分函数对数的高阶泰勒型展开。
• 基于这些展开式构建变分下界，并引入额外的变分参数。
• 利用展开项的结构，对变分参数进行解析优化。
• 该算法系统性地生成任意所需近似阶数下所需的所有解析项。
• 将该方法应用于玻尔兹曼机模型，以计算其配分函数的下界。
• 结果表明，该下界在实际设置中最高可达九阶仍具有计算可行性。

实验结果

研究问题

• RQ1 是否可以采用系统性、计算机生成的方法，实现对指数函数下界的任意精度估计？
• RQ2 如何利用高阶展开改进统计力学模型中的平均场近似？
• RQ3 在展开过程中引入的变分参数在多大程度上可实现解析优化？
• RQ4 在实际模型（如玻尔兹曼机）中，此类高阶下界的实用计算极限是什么？
• RQ5 生成的项是否可作为TAP近似之外的有效校正项？

主要发现

• 该算法通过计算机自动化的高阶展开，成功实现了对指数函数的任意精度下界估计。
• 利用该方法可系统性地推导出玻尔兹曼机配分函数所需的所有解析项。
• 展开中引入的额外变分参数可实现解析优化，从而简化计算过程。
• 最高至九阶的下界在实际应用中仍保持计算可行性。
• 生成的项可作为平均场展开中超越TAP近似的有效校正项。
• 该方法展现出良好的可扩展性与精度，为高阶统计近似提供了一个稳健的框架。