[论文解读] Annealing Gaussian into ReLU: a New Sampling Strategy for Leaky-ReLU RBM

Chunliang Li, Siamak Ravanbakhsh+1 more|arXiv (Cornell University)|Nov 11, 2016

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 5

一句话总结

该论文提出了一种新颖的采样策略，用于漏失ReLU受限玻尔兹曼机（RBM），通过在Gibbs采样过程中退火漏失参数，从完全高斯（非漏失）状态开始，逐步增加非线性程度。该方法实现了比对比发散（CD）更快的混合速度和更精确高效的似然估计，且在配分函数估计方面优于标准退火重要性采样（AIS）。

ABSTRACT

Restricted Boltzmann Machine (RBM) is a bipartite graphical model that is used as the building block in energy-based deep generative models. Due to numerical stability and quantifiability of the likelihood, RBM is commonly used with Bernoulli units. Here, we consider an alternative member of exponential family RBM with leaky rectified linear units -- called leaky RBM. We first study the joint and marginal distributions of leaky RBM under different leakiness, which provides us important insights by connecting the leaky RBM model and truncated Gaussian distributions. The connection leads us to a simple yet efficient method for sampling from this model, where the basic idea is to anneal the leakiness rather than the energy; -- i.e., start from a fully Gaussian/Linear unit and gradually decrease the leakiness over iterations. This serves as an alternative to the annealing of the temperature parameter and enables numerical estimation of the likelihood that are more efficient and more accurate than the commonly used annealed importance sampling (AIS). We further demonstrate that the proposed sampling algorithm enjoys faster mixing property than contrastive divergence algorithm, which benefits the training without any additional computational cost.

研究动机与目标

• 为解决ReLU RBM中缺乏高效且精确的采样与似然估计问题，因为其非单调性导致不属于指数族。
• 识别并解决训练漏失RBM时潜在的正定约束问题，这些问题可能导致模型发散。
• 开发一种新型采样算法，以提升漏失RBM的混合速度与训练效率。
• 证明漏失ReLU单元在模型对数似然方面可优于伯努利单元。

提出的方法

• 该方法引入一种元采样算法，在Gibbs采样迭代过程中将漏失参数从0（完全高斯）退火至目标值。
• 利用漏失RBM与截断高斯分布之间的联系，实现对联合分布和边缘分布的高效采样。
• 该算法采用一系列逐渐增加漏失性的ReLU单元，从线性/高斯单元开始，以改善Gibbs采样过程中的混合与收敛性。
• 采样过程通过使用非线性程度逐步增加的模型路径，避免了直接计算难以处理的配分函数。
• 该方法与对比发散（CD）结合，通过用数据样本替换初始可见状态，同时仍保持漏失性的退火，从而维持计算效率。
• 该方法实现了比传统退火重要性采样（AIS）更高的配分函数数值估计精度与更低方差。

实验结果

研究问题

• RQ1 如何设计一种针对漏失ReLU RBM的采样策略，以提升混合速度与似然估计性能？
• RQ2 漏失RBM的基本分布特性是什么？其与截断高斯分布有何关联？
• RQ3 为确保漏失RBM训练稳定，模型参数需满足哪些约束条件？
• RQ4 在采样过程中对漏失性参数进行退火，是否能优于标准对比发散（CD）与退火重要性采样（AIS）在训练与似然估计中的表现？
• RQ5 使用漏失ReLU单元是否能在对数似然方面实现优于伯努利单元的生成性能？

主要发现

• 所提出的基于退火的采样方法在混合速度上优于标准对比发散（CD），在不增加计算成本的前提下提升了训练效率。
• 该方法在多个基准数据集上对配分函数的估计性能优于传统退火重要性采样（AIS），具有更高的精度与更低的方差。
• 漏失ReLU RBM在对数似然性能上显著优于伯努利-高斯RBM，在使用最优学习率时，SVHN与CIFAR10数据集上的提升可达约300纳特。
• 本研究识别出漏失RBM训练中此前被忽视的正定约束，若违反该约束，可能导致模型发散。
• 漏失RBM与截断高斯分布之间的联系为所提出的采样策略提供了理论基础。
• 结合数据初始化与漏失性退火的混合算法，在性能上接近完整退火方法的同时，仍保持了标准CD的计算效率。