[论文解读] Disentangling representations in Restricted Boltzmann Machines without adversaries

Jorge Fernández-de-Cossio-Díaz, Simona Cocco+1 more|arXiv (Cornell University)|Jun 23, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

该论文提出一种基于约束的方法，无需对抗训练即可在受限玻尔兹曼机（RBMs）中解耦表示，通过在学习过程中施加权重约束，将标签信息集中于部分隐藏单元。该方法在仅造成对数似然性轻微损失的情况下，实现了可解释的、可控的生成，并可通过庞加莱分离定理实现解耦成本的解析计算。

ABSTRACT

A goal of unsupervised machine learning is to build representations of complex high-dimensional data, with simple relations to their properties. Such disentangled representations make easier to interpret the significant latent factors of variation in the data, as well as to generate new data with desirable features. Methods for disentangling representations often rely on an adversarial scheme, in which representations are tuned to avoid discriminators from being able to reconstruct information about the data properties (labels). Unfortunately adversarial training is generally difficult to implement in practice. Here we propose a simple, effective way of disentangling representations without any need to train adversarial discriminators, and apply our approach to Restricted Boltzmann Machines (RBM), one of the simplest representation-based generative models. Our approach relies on the introduction of adequate constraints on the weights during training, which allows us to concentrate information about labels on a small subset of latent variables. The effectiveness of the approach is illustrated with four examples: the CelebA dataset of facial images, the two-dimensional Ising model, the MNIST dataset of handwritten digits, and the taxonomy of protein families. In addition, we show how our framework allows for analytically computing the cost, in terms of log-likelihood of the data, associated to the disentanglement of their representations.

研究动机与目标

• 开发一种无需依赖对抗训练的无监督模型中学习解耦表示的方法，以解决对抗训练已知的数值不稳定性问题。
• 通过将与标签相关的信息集中于少数潜在变量中，实现对生成数据的可解释性控制。
• 提供一种便于对解耦的对数似然成本进行解析计算的框架。
• 在包括图像、物理和生物数据在内的多种数据集上展示方法的有效性。
• 探索部分约束与完全约束的RBMs架构，以实现解耦与特征正交建模。

提出的方法

• 在训练过程中对RBMs的权重施加显式约束，以限制关于数据标签的信息仅流向部分隐藏单元。
• 应用线性约束，强制特定隐藏单元编码与类别中心相对差异对齐的类原型表示。
• 使用部分约束的RBMs在保留数据生成质量的同时，实现与标签相关特征的解耦。
• 实现完全约束的RBMs以建模与标签正交的数据特征，同时保持结构和高阶相关性。
• 基于高斯混合近似，利用庞加莱分离定理推导出解耦和部分擦除导致的对数似然损失的解析表达式。
• 在多种数据集（CelebA、伊辛模型、MNIST、PFAM）上训练RBMs，并通过标签控制和似然度量评估解耦效果。

实验结果

研究问题

• RQ1 能否在无需对抗训练的情况下于RBMs中学习到解耦表示，且该方法在真实世界数据上的有效性如何？
• RQ2 强制解耦带来的对数似然损失是多少，能否实现解析量化？
• RQ3 约束的隐藏单元如何编码标签信息，且未约束单元中标签信息的保留程度如何？
• RQ4 当排除标签信息时，完全约束的RBMs能否生成有意义的数据，其条件是什么？
• RQ5 与对抗方法相比，该方法在训练稳定性、可解释性和生成质量方面表现如何？

主要发现

• 基于约束的方法在四个不同数据集（CelebA、伊辛模型、MNIST和PFAM蛋白家族）上成功实现了RBMs中表示的解耦。
• 解耦仅导致对数似然性轻微的相对损失，表明该方法具有高效率和强鲁棒性。
• 部分约束的RBMs可通过操纵少数专用隐藏单元，有效控制生成数据的属性（如面部特征或数字类别）。
• 少数释放的隐藏单元以原型化方式编码与标签相关的特征，其方向与数据空间中类别中心之间的向量差对齐。
• 尽管仅关注少数单元，但大量标签信息仍编码于约束隐藏单元中，可通过高阶相关性访问。
• 对于类别广泛分离的数据集（如MNIST 0/1、伊辛模型），完全约束的RBMs生成的样本与真实数据显著不同，但保留了如热容或像素相关性等高阶矩，表明仍存在残余结构。