[论文解读] Exact training of Restricted Boltzmann machines on intrinsically low dimensional data

Aurélien Decelle, Cyril Furtlehner|arXiv (Cornell University)|Mar 19, 2021

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 8

一句话总结

本文通过使用库仑相互作用重新表述模型，提出了一种针对具有固有低维结构数据的受限玻尔兹曼机（RBMs）的精确训练方法。研究揭示了标准RBMs训练失败的原因在于一阶相变和参数陷阱，并提出了一种凸松弛与自然梯度方法，使得在一维和二维情况下能够实现精确的似然计算和唯一解。

ABSTRACT

The restricted Boltzmann machine is a basic machine learning tool able, in principle, to model the distribution of some arbitrary dataset. Its standard training procedure appears however delicate and obscure in many respects. We bring some new insights to it by considering the situation where the data have low intrinsic dimension, offering the possibility of an exact treatment and revealing a fundamental failure of the standard training procedure. The reasons for this failure extemdash~like the occurrence of first-order phase transitions during training~ extemdash \ are clarified thanks to a Coulomb interactions reformulation of the model. In addition a convex relaxation of the original optimization problem is formulated thereby resulting in a unique solution, obtained in precise numerical form on $d=1,2$ study cases, while a constrained linear regression solution can be conjectured on the basis of an information theory argument.

研究动机与目标

• 解决标准RBMs在低内在维数数据上训练的根本性失败问题。
• 通过利用数据的低维结构，对RBMs学习实现精确处理。
• 阐明训练失败的原因，如一阶相变和隐层偏置陷阱。
• 制定RBMs优化问题的凸松弛，从而获得唯一解。
• 通过信息论论证推导出约束线性回归解，并通过数值方法验证。

提出的方法

• 使用库仑相互作用图像重述RBMs，将参数映射为静电势。
• 从自旋构型到磁化模和横向自由度的变量变换。
• 利用费雪信息度量推导连续时间自然梯度动力学。
• 利用大偏差原理将配分函数表示为磁化约束和勒让德变换的形式。
• 采用磁化空间的离散近似，计算一维和二维情况下的精确对数似然。
• 应用自然梯度更新规则，确保收缩动力学并实现自适应学习率控制。

实验结果

研究问题

• RQ1 为何标准RBMs训练在固有低维数据上会失败？
• RQ2 RBMs训练过程中观察到的一阶相变是由什么引起的？
• RQ3 在低维数据假设下，非凸且难以处理的RBMs优化问题如何被精确求解？
• RQ4 隐层偏置（zj）在参数陷阱和模型坍塌中起什么作用？
• RQ5 RBMs学习问题的凸松弛能否产生唯一解？

主要发现

• 标准RBMs训练过程因一阶相变而失败，导致吉布斯采样偏离真实磁化。
• 隐层偏置参数（zj）会陷入接近零的区域，即使隐藏单元数量众多，模型在1D情况下也最多只能呈现两种铁磁态。
• 对RBMs进行库仑相互作用重表述，使得在一维和二维情况下能够精确计算对数似然。
• 自然梯度方法确保了收缩动力学，并可通过监测得分函数的范数实现自适应学习率控制。
• 优化问题的凸松弛导致唯一解，且通过信息论论证推测出一个约束线性回归解。
• 从标准RBMs到库仑RBMs的映射在使用大量弱特征时性能较差，尤其在2D且隐藏单元数Nh较高时更为明显。