[论文解读] New Generalizations of the Bethe Approximation via Asymptotic Expansion

Ryuhei Mori, Toshiyuki Tanaka|arXiv (Cornell University)|Oct 9, 2012

Error Correcting Code Techniques参考文献 12被引用 4

一句话总结

本文提出了一种基于渐近展开的贝特近似推广方法，用于近似图形模型中的配分函数。通过利用冯托贝尔的图覆盖表征方法以及与贝特自由能的海森矩阵相关的边泽塔函数，该方法在特定条件下（尤其是关联沿环路衰减的稀疏模型中）推导出更高阶的校正项，从而在渐近意义上改进了原始的贝特近似。

ABSTRACT

The Bethe approximation, discovered in statistical physics, gives an efficient algorithm called belief propagation (BP) for approximating a partition function. BP empirically gives an accurate approximation for many problems, e.g., low-density parity-check codes, compressed sensing, etc. Recently, Vontobel gives a novel characterization of the Bethe approximation using graph cover. In this paper, a new approximation based on the Bethe approximation is proposed. The new approximation is derived from Vontobel's characterization using graph cover, and expressed by using the edge zeta function, which is related with the Hessian of the Bethe free energy as shown by Watanabe and Fukumizu. On some conditions, it is proved that the new approximation is asymptotically better than the Bethe approximation.

研究动机与目标

• 开发一种系统性的更高阶配分函数近似方法，超越标准的贝特近似。
• 基于图覆盖理论，形式化地推广贝特近似，采用渐近展开技术。
• 确立新近似在渐近精度方面优于原始贝特近似的条件。
• 将边泽塔函数与贝特自由能的海森矩阵联系起来，从而为高阶校正项提供几何与解析解释。
• 研究近临界相变点时该近似的性质，特别是在具有临界行为或自由能极小值不连续的模型中。

提出的方法

• 通过贝特自由能的渐近展开（至 $ m $ 阶），利用高阶累积量与导数，推导出一种新近似 $ Z_{\text{AB}}^{(m)} $。
• 采用冯托贝尔的图覆盖框架，表征贝特自由能，并将其推广至因子图中的广义环路结构。
• 使用边泽塔函数 $ \tilde{\rho}(\bm{u}) $ 表达该近似，该函数通过渡边与福国的成果，与贝特自由能的海森矩阵实现解析关联。
• 引入一系列校正项 $ Z_{\text{AB}}^{(1)}, Z_{\text{AB}}^{(2)}, \text{等} $，其中每一项通过贝特自由能的导数，纳入更高阶的统计矩（例如 $ Z_{\text{AB}}^{(1)} $ 包含三阶矩）。
• 以信念传播（BP）方程为起点，利用消息 $ m_{i\to a}, m_{a\to i} $ 定义局部分布 $ b_i, b_a $，并通过可约性约束保证其一致性。
• 将该方法应用于伊辛模型与三体伊辛模型，表明当边泽塔函数 $ \tilde{\rho}(\bm{u}) = 1 $ 时，$ Z_{\text{AB}}^{(1)} = Z_{\text{Bethe}} $。

实验结果

研究问题

• RQ1 能否通过渐近展开技术系统性地推广贝特近似，以提升其精度？
• RQ2 在何种条件下，新近似 $ Z_{\text{AB}}^{(m)} $ 能够提供比原始贝特近似更优的配分函数估计？
• RQ3 边泽塔函数与贝特自由能的海森矩阵之间存在何种关系？该关系是否可用于推导高阶校正项？
• RQ4 当贝特自由能的海森矩阵趋于奇异时，该广义近似在临界温度附近的性质如何？
• RQ5 该方法能否在 $ N \to \infty $ 的大尺寸极限下，对稀疏因子图提供理论支持，特别是在环路关联衰减的情况下？

主要发现

• 当任意环路上成对关联的乘积在大尺寸极限下趋于零时，新近似 $ Z_{\text{AB}}^{(1)} $ 在渐近意义上优于贝特近似。
• 当边泽塔函数 $ \tilde{\rho}(\bm{u}) = 1 $ 时（例如在均匀消息下的三体伊辛模型中），$ Z_{\text{AB}}^{(1)} $ 恰好退化为贝特近似。
• $ Z_{\text{AB}}^{(1)} $ 的推导涉及贝特自由能的三阶导数，表明其考虑了图形模型中的三阶统计矩。
• 该方法表明，$ Z_{\text{AB}}^{(m)} $ 捕获了所有节点度数不超过三的连通广义环路的贡献（$ m=1 $ 时），并可推广至更高阶 $ m $ 以处理更复杂的环路结构。
• 若贝特自由能的最小值在临界温度 $ \beta_c $ 处发生不连续跳跃，则近似在 $ \beta_c $ 处出现不连续，表明其表现出一阶相变的有限尺寸类比。
• 当贝特自由能的海森矩阵非正定，边泽塔函数在 $ \beta_c $ 处发散，表明其为二阶相变的有限尺寸类比。