[论文解读] Boltzmann machines and energy-based models

Takayuki Osogami|arXiv (Cornell University)|Aug 20, 2017

Generative Adversarial Networks and Image Synthesis参考文献 60被引用 9

一句话总结

本文综述了玻尔兹曼机与能量模型，强调其概率解释与基于梯度的学习方法。文章介绍了精确与近似学习方法（如吉布斯采样和对比散度），同时指出精确计算的不可行性，并倡导采用计算上可行的能量模型替代方案，通过一个实际的人脸检测示例展示了能量模型学习的实际应用。

ABSTRACT

We review Boltzmann machines and energy-based models. A Boltzmann machine defines a probability distribution over binary-valued patterns. One can learn parameters of a Boltzmann machine via gradient based approaches in a way that log likelihood of data is increased. The gradient and Hessian of a Boltzmann machine admit beautiful mathematical representations, although computing them is in general intractable. This intractability motivates approximate methods, including Gibbs sampler and contrastive divergence, and tractable alternatives, namely energy-based models.

研究动机与目标

• 从概率视角全面综述玻尔兹曼机，强调其数学结构与学习动态。
• 分析由于归一化常数（partition function）的存在，玻尔兹曼机中精确最大似然学习的不可行性及其对近似方法的需求。
• 探讨吉布斯采样与对比散度等近似学习技术，以实现玻尔兹曼机的高效训练。
• 提出能量模型作为全连接玻尔兹曼机的可计算替代方案，尤其适用于实值数据与复杂数据。
• 通过使用具有可见变量、隐藏变量与标签变量的结构化能量函数的人脸检测模型，展示能量模型学习的实际效用。

提出的方法

• 将玻尔兹曼机建模为具有二值单元的概率图模型，并通过偏置与成对权重定义能量函数：$ E_{\theta}(\mathbf{x}) = -\mathbf{b}^T\mathbf{x} - \mathbf{x}^T\mathbf{W}\mathbf{x} $。
• 通过玻尔兹曼分布定义二值模式的概率分布：$ \mathbb{P}_{\theta}(\mathbf{x}) = \frac{\exp(-E_{\theta}(\mathbf{x}))}{Z} $，其中 $ Z $ 为归一化常数。
• 利用期望与协方差矩阵，以闭式表达推导对数似然的梯度与海森矩阵，从而支持理论化的学习方法。
• 引入基于吉布斯采样的近似学习方法与对比散度，以在精确计算不可行时估计梯度。
• 提出一种用于人脸识别的可计算能量模型，采用混合能量函数：$ E_{\theta}(y,\mathbf{z},\mathbf{x}) = y\|G_{\theta}(\mathbf{x}) - F(\mathbf{z})\| + (1-y)T $，其中 $ G_{\theta} $ 为卷积神经网络，$ F $ 将数据映射至人脸流形。
• 使用复合目标函数 $ L_{\theta}(\mathcal{D}) $，通过最小化真实人脸样本的能量并惩罚被误判为人脸的非人脸图像，其中超参数 $ \kappa $ 平衡各项损失。

实验结果

研究问题

• RQ1 如何在考虑不可行的归一化常数的前提下，通过基于梯度的优化方法学习玻尔兹曼机的参数？
• RQ2 玻尔兹曼机学习中梯度与海森矩阵的数学特性是什么？它们如何支持高效优化？
• RQ3 吉布斯采样与对比散度等近似方法在多大程度上缓解了精确学习的计算不可行性？
• RQ4 能量模型如何作为全连接玻尔兹曼机在现实任务（如人脸识别）中的可计算替代方案？
• RQ5 结构化能量函数在结合潜在变量与条件建模的基础上，如何实现有效的分类？

主要发现

• 玻尔兹曼机中对数似然的梯度与海森矩阵可通过期望与协方差矩阵以优雅的数学形式表达，支持理论分析。
• 由于归一化常数大小为 $ 2^N $，精确学习在计算上不可行，因此必须依赖近似方法（如吉布斯采样与对比散度）。
• 对比散度通过减少正负阶段中吉布斯采样步数，为训练玻尔兹曼机提供了实用且高效的近似方法。
• 能量模型为全连接玻尔兹曼机提供了可扩展的替代方案，尤其适用于建模实值数据或结构化输出的复杂分布。
• 使用结构化能量函数的人脸检测模型通过最小化真实人脸的能量并最大化非人脸样本的能量，结合对比项目标函数，实现了有效的分类。
• 所提出的能量模型目标函数 $ L_{\theta}(\mathcal{D}) $ 成功平衡了对人脸样本的拟合与对非人脸图像的拒识，第二项通过潜在姿态的最小能量惩罚了假阳性样本。