[论文解读] Joint Stochastic Approximation learning of Helmholtz Machines

Haotian Xu, Zhijian Ou|arXiv (Cornell University)|Mar 20, 2016

Gaussian Processes and Bayesian Inference参考文献 16被引用 6

一句话总结

该论文提出了一种新型算法——联合随机逼近（Joint Stochastic Approximation, JSA），用于训练赫姆霍兹机，通过罗宾斯-蒙罗随机逼近方法直接优化边缘对数似然和包含性KL散度。通过将梯度更新表述为根查找问题，并采用MTMIS等MCMC算子，JSA在MNIST数据集上的边缘对数似然性能优于RWS，且收敛速度更快、采样效率更高。

ABSTRACT

Though with progress, model learning and performing posterior inference still remains a common challenge for using deep generative models, especially for handling discrete hidden variables. This paper is mainly concerned with algorithms for learning Helmholz machines, which is characterized by pairing the generative model with an auxiliary inference model. A common drawback of previous learning algorithms is that they indirectly optimize some bounds of the targeted marginal log-likelihood. In contrast, we successfully develop a new class of algorithms, based on stochastic approximation (SA) theory of the Robbins-Monro type, to directly optimize the marginal log-likelihood and simultaneously minimize the inclusive KL-divergence. The resulting learning algorithm is thus called joint SA (JSA). Moreover, we construct an effective MCMC operator for JSA. Our results on the MNIST datasets demonstrate that the JSA's performance is consistently superior to that of competing algorithms like RWS, for learning a range of difficult models.

研究动机与目标

• 解决现有赫姆霍兹机学习算法间接优化边缘对数似然界的问题。
• 为具有离散隐变量的深度生成模型中的边缘对数似然和包含性KL散度，开发一种直接优化框架。
• 将随机逼近理论（罗宾斯-蒙罗）整合到生成模型与推理模型的联合学习中。
• 设计高效的MCMC算子——特别是MIS和MTMIS——利用推理模型作为提议分布。
• 在MNIST等基准数据集上，实证验证JSA在似然性能和收敛速度方面的优越性。

提出的方法

• 使用随机逼近将生成模型与推理模型的联合学习表述为根查找问题，其中将边缘对数似然和包含性KL散度的梯度设为零。
• 将所需的梯度表示为期望形式，从而通过使用递减步长的随机逼近实现迭代参数更新。
• 在SA框架中，使用推理模型 $ q_{\bm{\phi}}(\bm{h}|\bm{x}) $ 作为构造MCMC转移的提议分布。
• 采用两种MCMC算子：标准Metropolis独立采样器（MIS）和多重试验Metropolis独立采样器（MTMIS），以改善混合效果和收敛性。
• 通过每步抽取10个候选样本并基于接受概率选择一个，应用MTMIS，从而在采样效率上优于标准MIS。
• 使用小批量SGD，学习率分别为0.0005和0.001，基于验证集对数似然选择表现最佳的运行结果。

实验结果

研究问题

• RQ1 随机逼近能否有效应用于赫姆霍兹机中，以联合优化边缘对数似然和包含性KL散度？
• RQ2 在JSA中，使用推理模型作为MCMC中的提议分布，是否能提升收敛性和似然性能？
• RQ3 在JSA框架中，MTMIS与MIS相比，在采样效率和收敛速度方面表现如何？
• RQ4 JSA在离散信念网络上的MNIST数据集上，是否能实现优于SOTA方法RWS的测试似然？
• RQ5 JSA能否同时处理连续和离散隐变量，并在复杂模型上保持良好性能？

主要发现

• 在MNIST上所有测试的模型架构中，JSA-MTMIS的测试似然始终优于RWS，包括具有伯努利和多项式隐单元的SBN。
• 在200-200-200-10(C)模型上，JSA-MTMIS的测试对数似然为87.82，优于RWS的88.43，且下界为96.58。
• 由于采样效率低下，JSA-MIS的收敛速度比JSA-MTMIS和RWS慢约10倍，接受率仅为40-50%。
• JSA-MTMIS的接受率可达80-90%，显著高于JSA-MIS，表明其在MCMC链中具有更好的混合效果和更大的跳跃步长。
• 收敛曲线显示，JSA-MTMIS在每轮训练中的似然增益与RWS相当或更优，表明其学习动态更快。
• 该方法在不同深度和类型的模型中均表现稳健，包括伯努利和多项式信念网络，且性能提升一致。