[论文解读] A Comparison of Algorithms for Learning Hidden Variables in Normal Graphs

F. Palmieri|arXiv (Cornell University)|Aug 26, 2013

Bayesian Modeling and Causal Inference参考文献 27被引用 5

一句话总结

本文提出并比较了四种局部化学习算法，用于估计贝叶斯网络在具有隐变量的普通因子图表示中的条件概率矩阵。通过使用约束最大似然与最小Kullback-Leibler散度，并结合KKT条件，作者推导出适用于任意SISO模块的稳定、模块化更新规则，相较于Viterbi类和变分近似方法，在合成数据上表现出更优的收敛性与鲁棒性。

ABSTRACT

A Bayesian factor graph reduced to normal form consists in the interconnection of diverter units (or equal constraint units) and Single-Input/Single-Output (SISO) blocks. In this framework localized adaptation rules are explicitly derived from a constrained maximum likelihood (ML) formulation and from a minimum KL-divergence criterion using KKT conditions. The learning algorithms are compared with two other updating equations based on a Viterbi-like and on a variational approximation respectively. The performance of the various algorithm is verified on synthetic data sets for various architectures. The objective of this paper is to provide the programmer with explicit algorithms for rapid deployment of Bayesian graphs in the applications.

研究动机与目标

• 开发适用于任意图拓扑的贝叶斯网络参数估计的局部化、统一学习算法。
• 推导仅依赖于局部前向与后向信念消息的SISO模块的显式、可实现的更新规则。
• 在合成数据上比较四种学习算法——最大似然、最小KL散度、Viterbi类近似与变分近似——的性能。
• 为实际应用中快速部署贝叶斯图模型提供实用、可直接编码的框架。

提出的方法

• 将学习问题建模为使用最大似然与最小KL散度准则的约束优化问题。
• 应用Karush-Kuhn-Tucker（KKT）条件，推导出SISO模块中条件概率矩阵的闭式、局部化更新规则。
• 在代价函数中引入稳定化项，以防止优化过程中的数值发散。
• 推导出处理乘积空间中变量模糊性的分流器单元的显式矩阵形式，支持模块化图构建。
• 利用信念传播原理传播消息，并计算用于参数更新的充分统计量。
• 使用无环、固定架构的合成数据集，评估不同算法在收敛性与准确性方面的表现。

实验结果

研究问题

• RQ1 如何使贝叶斯网络中的参数学习实现模块化与局部化，使得每个SISO模块仅使用本地信念消息即可更新其条件概率矩阵？
• RQ2 在存在隐变量的情况下，最大似然、最小KL散度、Viterbi类与变分近似算法的相对收敛速度与估计精度如何？
• RQ3 能否为任意普通因子图架构推导出一种统一、稳定且可实现的学习算法，而无需进行特定于拓扑的推导？
• RQ4 当处理稀疏或零概率观测时，所提出的算法在鲁棒性与数值稳定性方面表现如何？

主要发现

• 通过KKT条件推导出的最大似然与最小KL散度算法，相较于Viterbi类与变分近似方法，表现出更优的收敛性与稳定性。
• 在代价函数中引入归一化稳定项可防止数值发散，确保鲁棒性，尤其在初始概率为零值时表现更优。
• 所有算法均为局部化且与拓扑无关，可直接应用于普通因子图中任意SISO模块，无需修改架构。
• 合成实验结果表明，ML与KL基算法在收敛速度与估计误差方面均优于Viterbi类与变分近似方法。
• 推导出的更新规则以显式矩阵形式给出，可直接编码实现，为信号处理与人工智能应用中的软件部署提供实用、即插即用的解决方案。