[论文解读] Amortized Bethe Free Energy Minimization for Learning MRFs

Sam Wiseman, Yoon Kim|arXiv (Cornell University)|Jun 1, 2019

Machine Learning and Algorithms被引用 7

一句话总结

本文提出了一种新颖的方法，通过使用近似Bethe自由能最小化来学习马尔可夫随机场（MRFs），实现了无需采样即可进行精确梯度计算。通过利用源自Bethe近似的对偶点目标，该方法在推理速度和测试对数似然性方面优于遍历信念传播（loopy belief propagation）及其他近期方法。

ABSTRACT

We propose to learn deep undirected graphical models (i.e., MRFs) with a non-ELBO objective for which we can calculate exact gradients. In particular, we optimize a saddle-point objective deriving from the Bethe free energy approximation to the partition function. Unlike much recent work in approximate inference, the derived objective requires no sampling, and can be efficiently computed even for very expressive MRFs. We furthermore amortize this optimization with trained inference networks. Experimentally, we find that the proposed approach compares favorably with loopy belief propagation, but is faster, and it allows for attaining better held out log likelihood than other recent approximate inference schemes.

研究动机与目标

• 为解决使用可扩展且可微分推理训练深度无向图模型的挑战。
• 开发一种非ELBO目标，以实现MRF学习中的精确梯度计算。
• 利用Bethe自由能实现对配分函数近似的高效优化。
• 与现有近似推理方案相比，提升泛化能力和测试对数似然性能。
• 将近似推理网络与Bethe自由能最小化相结合，实现可扩展的MRF训练。

提出的方法

• 该方法通过优化源自Bethe自由能近似配分函数的对偶点目标来实现。
• 通过使用Bethe自由能及其梯度的精确解析计算，避免了采样。
• 训练近似推理网络以近似平均场参数，从而降低每次推理的计算成本。
• 该方法利用Bethe近似的结构，实现端到端训练的精确梯度计算。
• 通过在Bethe自由能上进行梯度下降优化，实现对表达性强的MRF的可扩展学习。
• 由于无需采样，该方法即使在复杂、高维的MRF上也能实现高效训练。

实验结果

研究问题

• RQ1 我们能否使用一种非ELBO目标来训练MRF，从而实现精确梯度计算？
• RQ2 在深度MRF中，能否在无需采样的情况下高效计算Bethe自由能最小化？
• RQ3 与现有近似推理方法相比，结合Bethe自由能的近似推理是否能带来更好的泛化性能？
• RQ4 与遍历信念传播相比，该方法在速度和对数似然性能方面表现如何？
• RQ5 该方法在保持训练效率的同时，能否扩展到表达性强的MRF？

主要发现

• 所提出的方法在推理速度上优于遍历信念传播，同时保持或提升了性能。
• 其在保留对数似然性方面优于其他近期近似推理方案。
• 该方法无需采样即可实现精确梯度计算，从而提高了训练的稳定性和效率。
• 近似推理网络在训练和测试期间有效降低了推理的计算成本。
• 由于Bethe自由能计算具有解析性质，该方法在表达性强的MRF上表现出良好的可扩展性。
• 源自Bethe近似的对偶点目标在配分函数估计方面比基于采样的替代方案更准确。