[论文解读] Composite Likelihood Estimation for Restricted Boltzmann machines

Muneki Yasuda, S. Kataoka+2 more|arXiv (Cornell University)|Jun 24, 2014

Machine Learning and Algorithms被引用 3

一句话总结

该论文提出了一种系统化的复合似然（CL）方法，用于训练受限玻尔兹曼机（RBMs），通过按k递增顺序使用所有k变量块，确保CL单调逼近真实对数似然。该方法在保持计算可行性的同时，相比伪似然（pseudo-likelihood）显著提升了估计精度，数值结果表明，在50,000次迭代后，三阶CL的性能与精确最大似然方法相当。

ABSTRACT

Learning the parameters of graphical models using the maximum likelihood estimation is generally hard which requires an approximation. Maximum composite likelihood estimations are statistical approximations of the maximum likelihood estimation which are higher-order generalizations of the maximum pseudo-likelihood estimation. In this paper, we propose a composite likelihood method and investigate its property. Furthermore, we apply our composite likelihood method to restricted Boltzmann machines.

研究动机与目标

• 开发一种系统化的块选择策略，用于复合似然估计，确保随着块大小增加，逼近真实对数似然。
• 在RBMs中，将参数估计精度提升至超越传统伪似然方法的水平。
• 通过利用高阶复合似然，为RBMs提供一种计算上可行的替代最大似然估计的方法。
• 使用合成数据对所提方法进行经验验证，并与精确最大似然及低阶CL方法进行性能比较。

提出的方法

• 该方法使用可见单元和隐藏单元的所有可能的k变量子集作为块，形成k = 1, 2, ..., n的族𝒞_k。
• 复合似然定义为所有k大小块的条件对数似然的平均值，并通过块的数量进行归一化。
• 通过每个块上的条件期望推导出参数更新的梯度，从而实现基于梯度上升的高效优化。
• 该方法推广了伪似然（k=1），并随着k的增加趋近于完整似然（k=n）。
• 该方法明确定义了RBMs中第k阶CL的梯度，包括能量函数和条件概率。
• 数值优化采用固定学习率的梯度上升法，应用于具有已知真实值的合成数据。

实验结果

研究问题

• RQ1 在复合似然估计中，使用所有k变量块是否能随着k的增加而单调提升逼近真实对数似然？
• RQ2 在RBMs中，高阶复合似然的估计精度与伪似然和精确最大似然相比如何？
• RQ3 所提出的系统化块选择策略是否能产生优于现有CL或PL方法的参数估计？
• RQ4 在复合似然框架中，增加k时，计算成本与估计精度之间的权衡如何？

主要发现

• 经过50,000次迭代，三阶复合似然估计得到的真实对数似然为-1.741，与精确最大似然结果一致。
• 权重参数的平均绝对误差（MAD）从k=1时的0.360降至k=3时的0.103，表明高阶CL有显著改进。
• 二阶CL将β和w的MAD分别降低至0.223和0.192，表明相比一阶方法有显著性能提升。
• 高阶CL收敛更快且估计结果更优，三阶CL与精确ML解非常接近。
• 使用所有k大小块的复合似然构成真实对数似然的上界，并随k单调递增。
• 通过选择k，该方法实现了计算成本与估计精度之间的可调权衡。