[论文解读] A Probability Density Theory for Spin-Glass Systems

Gavin S. Hartnett, Masoud Mohseni|arXiv (Cornell University)|Jan 3, 2020

Theoretical and Computational Physics参考文献 31被引用 4

一句话总结

本文通过将离散的伊辛自旋模型映射到实数变量上的连续哈密顿量密度，提出了一种自旋玻璃系统的连续概率密度理论，使深度生成模型（如归一化流）得以应用。关键贡献在于识别出在自旋玻璃相变之前，能量景观从凸性转变为非凸性的温度驱动转变，且无需依赖 quenched disorder 平均或平均场近似。

ABSTRACT

Spin-glass systems are universal models for representing many-body phenomena in statistical physics and computer science. High quality solutions of NP-hard combinatorial optimization problems can be encoded into low energy states of spin-glass systems. In general, evaluating the relevant physical and computational properties of such models is difficult due to critical slowing down near a phase transition. Ideally, one could use recent advances in deep learning for characterizing the low-energy properties of these complex systems. Unfortunately, many of the most promising machine learning approaches are only valid for distributions over continuous variables and thus cannot be directly applied to discrete spin-glass models. To this end, we develop a continuous probability density theory for spin-glass systems with arbitrary dimensions, interactions, and local fields. We show how our formulation geometrically encodes key physical and computational properties of the spin-glass in an instance-wise fashion without the need for quenched disorder averaging. We show that our approach is beyond the mean-field theory and identify a transition from a convex to non-convex energy landscape as the temperature is lowered past a critical temperature. We apply our formalism to a number of spin-glass models including the Sherrington-Kirkpatrick (SK) model, spins on random Erdős-Rényi graphs, and random restricted Boltzmann machines.

研究动机与目标

• 为离散自旋玻璃系统开发一种连续概率密度公式化方法，以实现深度生成模型（如归一化流）的应用。
• 在不依赖 quenched disorder 平均或平均场近似的情况下，表征自旋玻璃系统的低能态和临界性质。
• 识别能量景观中预示自旋玻璃行为出现的几何与拓扑特征。
• 弥合离散自旋玻璃模型与连续机器学习技术之间的差距，特别是在 NP 难优化问题的背景下。

提出的方法

• 通过连续哈密顿量密度 $ \mathcal{H}_{\beta}(x) $ 将离散伊辛自旋构型映射到连续变量，将离散配分函数转化为连续积分。
• 在连续变量上定义玻尔兹曼分布：$ p(x) = e^{-\beta \mathcal{H}_{\beta}(x)} / Z_x $，其中 $ Z_x = \int d^N x \, e^{-\beta \mathcal{H}_{\beta}(x)} $。
• 使用图解微扰理论计算配分函数的 disorder 平均对数，识别出表示非解析行为的循环图（如多边形）贡献。
• 基于连续哈密顿量的海森矩阵，推导出能量景观从凸性转变为非凸性的临界温度 $ T_{\text{convex}} $。
• 将该形式化方法应用于 Sherrington-Kirkpatrick 模型、Erdős-Rényi 随机图和受限玻尔兹曼机，以验证其普适性。
• 分析二维伊辛模型，比较 $ T_{\text{convex}} $、$ T_{\text{mean-field}} $ 和真实临界温度 $ T_{\text{crit}} $，结果表明 $ T_{\text{convex}} $ 出现在相变之前。

实验结果

研究问题

• RQ1 能否为离散自旋玻璃系统构建一种连续概率密度公式化方法，以实现深度生成建模？
• RQ2 在连续公式化中，能量景观的凸性是否预示着物理相变，或仅是自旋玻璃有序的前兆？
• RQ3 从连续哈密顿量推导出的临界温度 $ T_{\text{convex}} $ 与真实的自旋玻璃相变温度相比如何？
• RQ4 该形式化方法能否在不使用 quenched 平均的情况下捕捉自旋玻璃系统的非平均场行为和非微扰特征？
• RQ5 在配分函数的高温展开中，循环图（如多边形）起什么作用？它们是否预示微扰理论的失效？

主要发现

• 连续哈密顿量密度公式化成功地将离散自旋玻璃模型映射到连续概率分布，使连续生成模型（如归一化流）得以应用。
• 在 $ T_{\text{convex}} $ 处发生从凸到非凸能量景观的转变，该温度在二维伊辛模型中被证实出现在真实自旋玻璃相变之前。
• 在二维伊辛模型中，$ T_{\text{convex}} = 2 \times T_{\text{mean-field}} \approx 8\mathcal{J} $，而真实临界温度为 $ T_{\text{crit}} \approx 2.2692\mathcal{J} $，证实 $ T_{\text{convex}} $ 明显早于相变发生。
• 配分函数的高温展开揭示了来自循环图（如多边形）的贡献，这些贡献可被重求和为在 $ \beta^2 \mathcal{J}^2 = 1 $ 处的对数奇点，表明微扰理论的失效。
• 通过连续形式化推导出的 disorder 平均配分函数重现了已知的 TAP 结果，验证了该方法的有效性。
• 在 $ T_{\text{convex}} $ 处的转变并非物理相变，因为 $ Z_s $ 和 $ Z_x $ 在该温度下仍保持解析且行为良好，表明其为连续公式化中的几何特征。