[论文解读] Entropy Message Passing Algorithm

Velimir M. Ilić, Miomir S. Stanković+1 more|arXiv (Cornell University)|Jun 16, 2009

Algorithms and Data Compression参考文献 7被引用 1

一句话总结

本文提出了熵消息传递（Entropy Message Passing, EMP）算法，这是一种基于熵半环的因子图上的新型消息传递框架。通过利用熵半环，EMP 统一了诸如期望最大化、基于梯度的优化以及模型熵计算等概率推理任务，扩展了传统消息传递算法（如求和-乘积和最大-乘积）的适用范围。

ABSTRACT

Message passing over factor graph can be considered as generalization of many well known algorithms for efficient marginalization of multivariate function. A specific instance of the algorithm is obtained by choosing an appropriate commutative semiring for the range of the function to be marginalized. Some examples are Viterbi algorithm, obtained on max-product semiring and forward-backward algorithm obtained on sum-product semiring. In this paper, Entropy Message Passing algorithm (EMP) is developed. It operates over entropy semiring, previously introduced in automata theory. It is shown how EMP extends the use of message passing over factor graphs to probabilistic model algorithms such as Expectation Maximization algorithm, gradient methods and computation of model entropy, unifying the work of different authors. Index terms-factor graphs, graphical models, message passing, commutative semiring, entropy, Expectation Maximization, gradient methods. 1

研究动机与目标

• 将因子图上的消息传递算法从传统的求和-乘积和最大-乘积框架中进一步拓展。
• 在单一代数框架下统一多种概率推理方法，如期望最大化和基于梯度的方法。
• 展示熵半环在实现模型熵和参数更新的高效计算方面的实用性。
• 通过在图模型中使用交换半环，对现有算法进行泛化。

提出的方法

• 该算法在因子图上使用熵半环运行，熵半环是自动机理论中先前定义的结构。
• 消息更新通过熵半环的代数运算定义：熵作为‘求和’运算，交叉熵作为‘乘积’运算。
• 通过传播编码熵和交叉熵值的消息，该算法实现了多变量函数的边际化。
• 该框架具有通用性：当使用不同的半环时，求和-乘积和最大-乘积规则可作为特例出现。
• 通过消息传递动态支持迭代优化，实现梯度计算和参数更新。
• 该方法在交换半环理论的基础上严格建立，确保了推理过程的一致性和正确性。

实验结果

研究问题

• RQ1 如何将因子图上的消息传递泛化，以支持超越求和-乘积和最大-乘积的基于熵的推理？
• RQ2 熵半环是否可用于在单一消息传递框架内统一期望最大化和基于梯度的优化？
• RQ3 何种代数结构能够实现在图模型中对模型熵和参数更新的高效计算？
• RQ4 所提出的熵消息传递算法与现有概率建模算法之间有何关系？其如何扩展这些算法？
• RQ5 支撑熵半环能够支持广泛推理任务的理论基础是什么？

主要发现

• 熵消息传递（EMP）算法成功地将消息传递扩展到熵半环，使原本不在标准框架范围内的推理任务成为可能。
• EMP 在单一消息传递公式下统一了期望最大化算法和基于梯度的方法，展示了不同推理范式之间的理论一致性。
• 该框架可通过消息传递直接计算模型熵，为概率模型中的熵估计提供了新途径。
• 使用熵半环可确保算法保持图模型中正确性和收敛性所必需的代数性质。
• 该方法泛化了已知算法：当切换到其他半环时，求和-乘积和最大-乘积规则可作为特例出现。
• 本文为将消息传递推广到新半环建立了理论基础，为未来概率推理中的算法开发开辟了新方向。