[论文解读] Deep Learning the Ising Model Near Criticality

Alan Morningstar, Roger G. Melko|arXiv (Cornell University)|Aug 15, 2017

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 55

一句话总结

本文比较浅层和深层生成模型（RBM及其深层扩展）在学习近临界的二维Ising模型，发现准确性主要取决于第一隐藏层的大小，而非网络深度。

ABSTRACT

It is well established that neural networks with deep architectures perform better than shallow networks for many tasks in machine learning. In statistical physics, while there has been recent interest in representing physical data with generative modelling, the focus has been on shallow neural networks. A natural question to ask is whether deep neural networks hold any advantage over shallow networks in representing such data. We investigate this question by using unsupervised, generative graphical models to learn the probability distribution of a two-dimensional Ising system. Deep Boltzmann machines, deep belief networks, and deep restricted Boltzmann networks are trained on thermal spin configurations from this system, and compared to the shallow architecture of the restricted Boltzmann machine. We benchmark the models, focussing on the accuracy of generating energetic observables near the phase transition, where these quantities are most difficult to approximate. Interestingly, after training the generative networks, we observe that the accuracy essentially depends only on the number of neurons in the first hidden layer of the network, and not on other model details such as network depth or model type. This is evidence that shallow networks are more efficient than deep networks at representing physical probability distributions associated with Ising systems near criticality.

研究动机与目标

• 评估深度神经网络是否在近临界的物理分布表示效率上优于浅层网络。
• 量化各种生成模型对二维Ising模型的物理观测量（能量和比热）再现的程度。
• 确定网络架构（深度与宽度）在临界点附近对重构准确性的影响。

提出的方法

• 在二维Ising模型的蒙特卡罗样本上训练浅层和深层生成模型（RBM、DBM、DBN、DRBN）。
• 在训练过程中使用 CD-k 对比散度更新权重和偏置。
• 通过生成样本并计算观测量如能量和比热来评估训练好的模型。
• 通过保持总资源（隐藏单元）相似并分析第一隐藏层宽度的依赖来比较不同架构的性能。
• 参考精确蒙特卡罗值以评估在 Tc 附近的准确性（T_c ≈ 2.2693）。

实验结果

研究问题

• RQ1 在临界点附近增加网络深度是否会提高表示Ising分布的准确性？
• RQ2 生成的物理观测量的准确性是否对第一隐藏层的大小比对架构其他细节更敏感？
• RQ3 深度生成模型（DBM/DBN/DRBN）在这项物理任务中是否相对于浅层RBM有优势？
• RQ4 温度如何影响性能，尤其是在 Tc 附近？
• RQ5 在这个Ising模型背景下，对每个位点隐藏单元的上限是多少，以实现准确表示？

主要发现

• 在再现物理观测量（E 和 C）方面的准确性随第一层隐藏单元增多而提升。
• 两个具有相同总隐藏单元的深层模型在资源分配相似的情况下可能不如一个浅层RBM，表明在临界点附近深度并未提供明确的效率提升。
• 在固定第一层大小的情况下，增加第二隐藏层并不始终提高准确性。
• 模型类型（RBM 与 DBM/DBN/DRBN）在架构按层大小匹配时对准确性的影响甚少。
• 当 N_h1 = N（完全等宽）时，RBM 能在各个温度下准确捕捉分布，而较小的 N_h1 在 Tc 附近可能失败。