[论文解读] Learning Discriminative Representation with Signed Laplacian Restricted Boltzmann Machine

Dongdong Chen, Jiancheng Lv+1 more|arXiv (Cornell University)|Aug 28, 2018

Generative Adversarial Networks and Image Synthesis参考文献 13被引用 4

一句话总结

本文提出签名拉普拉斯限制玻尔兹曼机（SLRBM），一种判别性表征学习模型，通过签名图拉普拉斯正则化整合类别标签信息与全局数据局部性。通过在邻接矩阵中允许正负权重以编码数据点之间的相似性与相异性，SLRBM 在标准 RBM 和 GraphRBM 的基础上提升了分类性能，在无需微调的情况下于 MNIST 上实现了 11.2% 的错误率。

ABSTRACT

We investigate the potential of a restricted Boltzmann Machine (RBM) for discriminative representation learning. By imposing the class information preservation constraints on the hidden layer of the RBM, we propose a Signed Laplacian Restricted Boltzmann Machine (SLRBM) for supervised discriminative representation learning. The model utilizes the label information and preserves the global data locality of data points simultaneously. Experimental results on the benchmark data set show the effectiveness of our method.

研究动机与目标

• 通过整合类别标签信息，提升 RBM 中的判别性表征学习能力。
• 在局部邻域之外保留全局数据局部性，以增强分类任务的表征质量。
• 通过使用带符号的邻接矩阵实现相似性与相异性编码，克服传统流形学习与 GraphRBM 的局限性。
• 消除对最近邻搜索的依赖，简化实现过程，同时保持性能。

提出的方法

• 构建一个签名图，其中同类别样本对之间的边赋值为 +1，不同类别样本对之间的边赋值为 -1。
• 将签名图拉普拉斯定义为 $ L = D - \Phi $，其中 $ D_{ii} = \sum_j \phi_{ij} $。
• 将正则化项 $ \mathcal{J}(\mathcal{H}) = \sum_{ij} \phi_{ij} \| h^{(i)} - h^{(j)} \|_2^2 $ 嵌入 RBM 的能量函数中，并引入权衡参数 $ \lambda $。
• 通过包含 $ \delta^{(i)} $ 的梯度项，推导出可见单元与隐藏单元的条件概率，基于修改后的能量函数。
• 使用对比发散（CD）进行参数学习，采用标准梯度上升进行优化。
• 应用补丁对齐框架，表明 SLRBM 通过使用全局数据结构而非局部邻域，推广了 GraphRBM。

实验结果

研究问题

• RQ1 在 RBM 训练中引入类别标签信息是否能提升判别性表征学习？
• RQ2 使用能同时编码相似性与相异性的带符号邻接矩阵，是否能带来优于二值或仅正权重图的表征质量？
• RQ3 能否在不依赖最近邻搜索的前提下保留全局数据局部性，从而提升模型鲁棒性与简洁性？
• RQ4 SLRBM 在基准数据集上的分类准确率与标准 RBM 和 ClassRBM 相比如何？

主要发现

• SLRBM 在 MNIST 数据集上实现了 11.2% 的测试错误率，显著优于标准 RBM（26.8%）和 ClassRBM（23.8%），且无需任何微调。
• 学习到的表征显示，即使在输入空间中原本不接近，同一类别的数据点在隐藏空间中也被投影得更接近。
• 使用签名图拉普拉斯使模型能够同时编码相似性（同类别）与相异性（不同类别）信息，从而增强判别能力。
• SLRBM 不需要最近邻搜索，使其比传统流形学习方法更易于实现且更具可扩展性。
• 在 MNIST 上的可视化显示，同一数字（如 '0' 或 '1'）的表征高度相似，而不同数字的表征则明显分离。