[论文解读] Adaptive Parallel Tempering for Stochastic Maximum Likelihood Learning of RBMs

Guillaume Desjardins, Aaron Courville+1 more|arXiv (Cornell University)|Dec 15, 2010

Neural Networks and Applications参考文献 22被引用 29

一句话总结

本文提出了一种自适应方法——随机最大似然自适应并行退火（SML-APT），可自动优化温度调度并动态生成马尔可夫链，以最小化受限玻尔兹曼机（RBM）训练中的平均返回时间。通过在线应用Katzgraber等人提出的返回时间最小化原则，SML-APT在使用更少马尔可夫链的情况下，实现了优于标准SML-PT的似然得分，消除了手动超参数调优，同时提升了采样遍历性。

ABSTRACT

Restricted Boltzmann Machines (RBM) have attracted a lot of attention of late, as one the principle building blocks of deep networks. Training RBMs remains problematic however, because of the intractibility of their partition function. The maximum likelihood gradient requires a very robust sampler which can accurately sample from the model despite the loss of ergodicity often incurred during learning. While using Parallel Tempering in the negative phase of Stochastic Maximum Likelihood (SML-PT) helps address the issue, it imposes a trade-off between computational complexity and high ergodicity, and requires careful hand-tuning of the temperatures. In this paper, we show that this trade-off is unnecessary. The choice of optimal temperatures can be automated by minimizing average return time (a concept first proposed by [Katzgraber et al., 2006]) while chains can be spawned dynamically, as needed, thus minimizing the computational overhead. We show on a synthetic dataset, that this results in better likelihood scores.

研究动机与目标

• 为解决受限玻尔兹曼机（RBM）的随机最大似然（SML）训练中因分区函数不可计算而导致混合性能差和非遍历采样问题。
• 通过自动优化温度间距和链的生成，消除并行退火（PT）中温度调度的手动调优需求。
• 通过最小化各温度层级间粒子的平均返回时间，提升SML中的采样效率与收敛性。
• 在保持或提升似然性能的同时，降低计算开销，相较于固定温度的SML-PT更具优势。
• 通过自适应温度管理，实现几乎无需用户干预的稳定、高精度RBM训练。

提出的方法

• 将Katzgraber等人提出的返回时间最小化原则适配至在线SML设置，利用实时粒子动态引导温度自适应调整。
• 通过‘上’和‘下’标签追踪粒子运动，判断其是否最近访问了最低或最高温度链。
• 在温度索引上维持分数 $f_{up}(i)$ 的线性目标，以确保最优混合与低返回时间。
• 当平均交换率低于用户定义的阈值 $\bar{r}_{\text{min}}$ 时，动态生成新链，以维持遍历性。
• 使用随训练过程演化的逆温度参数 $\beta_i$，使其在能量景观的瓶颈区域聚集。
• 将自适应温度控制集成至SML的负相，保持持久马尔可夫链框架。

实验结果

研究问题

• RQ1 在并行退火中采用自适应温度调度，能否提升SML训练中RBM的采样遍历性？
• RQ2 通过动态温度自适应最小化平均返回时间，是否能获得优于固定温度SML-PT的似然得分？
• RQ3 通过自动优化最优温度间距，能否减少SML-PT中所需的链数？
• RQ4 与固定链数的SML-PT相比，SML-APT中链的动态生成对收敛性和似然稳定性有何影响？
• RQ5 该算法能否在训练过程中自适应应对能量景观中变化的瓶颈，而无需手动重新调优？

主要发现

• SML-APT仅使用20条链即实现了优于使用50条链的SML-PT的似然得分，证明了其更优的采样效率。
• 通过在温度索引上保持 $f_{up}(i)$ 曲线的线性特性，算法有效最小化了平均返回时间，该特性与混合性能提升密切相关。
• SML-APT在瓶颈区域的成对交换率可达0.9，而使用50条链的SML-PT仅达到约0.8，表明链间通信更高效。
• SML-APT在长时间训练中保持了稳定的似然得分，而其他方法的方差逐渐增大，表明训练更稳定。
• 逆温度参数 $\beta_i$ 在训练过程中动态重构，聚集于演化的能量瓶颈区域，这是人工调优无法捕捉的特性。
• 该方法显著降低了超参数调优负担，仅需设置学习率和最小平均交换率阈值。