[论文解读] Entropy from Machine Learning

Romuald A. Janik|arXiv (Cornell University)|Sep 24, 2019

Neural dynamics and brain function参考文献 14被引用 9

一句话总结

本文提出一种基于机器学习的方法，通过将熵估计问题转化为一系列监督分类任务，直接从二值配置（如蒙特卡洛自旋态或神经元动作电位序列）中计算熵。在20×20伊辛模型配置上使用现成的分类器，该方法在相图上准确再现了熵和自由能，为传统热力学积分或Wang-Landau采样提供了一种可扩展的替代方案。

ABSTRACT

We translate the problem of calculating the entropy of a set of binary configurations/signals into a sequence of supervised classification tasks. Subsequently, one can use virtually any machine learning classification algorithm for computing entropy. This procedure can be used to compute entropy, and consequently the free energy directly from a set of Monte Carlo configurations at a given temperature. As a test of the proposed method, using an off-the-shelf machine learning classifier we reproduce the entropy and free energy of the 2D Ising model from Monte Carlo configurations at various temperatures throughout its phase diagram. Other potential applications include computing the entropy of spiking neurons or any other multidimensional binary signals.

研究动机与目标

• 解决在统计物理中从蒙特卡洛配置直接估计熵的挑战，其中标准方法需要辅助模拟或显式哈密顿量。
• 克服在高维二值系统中直接计算熵的不可行性，特别是在配置唯一且无重复状态的情况下。
• 开发一种通用、与模型无关的熵估计框架，避免对底层哈密顿量或概率分布做出先验假设。
• 在神经科学中实现大规模发放神经元群体的熵计算，其中状态空间呈指数级增长，使直接估计不可行。
• 提供一种灵活、可扩展的传统熵估计技术（如热力学积分或Wang-Landau采样）的替代方案，这些方法计算成本高或需要独立的采样过程。

提出的方法

• 将熵估计问题重新构型为一系列二分类任务，其中每个分类器用于区分给定配置与随机采样的配置。
• 利用每个分类器的交叉熵损失作为对数概率比的局部估计，并将所有配置的损失求和，以近似总熵。
• 利用在真实分布样本上训练的分类器的期望交叉熵损失近似负对数似然这一事实，实现在无需显式密度估计的情况下进行熵估计。
• 将该方法应用于不同温度下二维伊辛模型的蒙特卡洛配置集合，使用标准机器学习分类器（如随机森林、神经网络）且无需网络结构调优。
• 通过利用对称性（如自旋反转、晶格平移）进行数据增强，当系统具有对称性时，增加有效训练数据规模，从而提升分类器泛化能力。
• 使用Kaufman精确公式对二维伊辛模型的精确解进行验证，实现对熵和自由能估计的定量基准测试。

实验结果

研究问题

• RQ1 是否能够仅从有限组二值配置中直接估计熵，而无需假设已知哈密顿量或执行额外模拟？
• RQ2 当在蒙特卡洛配置上进行一系列二分类任务训练时，机器学习分类器在多大程度上能近似系统的熵？
• RQ3 该方法在不同类型的高维二值信号（如神经元动作电位序列或自旋配置）上的泛化能力如何？
• RQ4 在准确性和计算成本方面，该方法与热力学积分或Wang-Landau采样等成熟方法相比表现如何？
• RQ5 通过比较不同分类器架构的性能，该方法是否能够检测数据中的结构复杂性或非线性特征？

主要发现

• 该方法仅使用单一温度下的蒙特卡洛配置，无需额外模拟，成功在相图上再现了二维伊辛模型的熵和自由能。
• 对于20×20伊辛模型，该方法在熵估计方面表现出高精度，在临界点以上温度下相对误差低于1%，在临界区域附近误差控制在2–3%以内。
• 该方法对分类器选择具有鲁棒性，使用相同数据训练的随机森林与前馈神经网络均能产生一致的熵估计结果。
• 通过系统对称性进行数据增强显著提升了低温配置下的性能，解决了数据稀缺问题。
• 该方法可直接应用于真实神经数据（如动作电位序列）进行熵估计，无需假设特定的有效哈密顿量，从而避免了反向伊辛拟合的需要。
• 将最大熵模型的熵与直接从数据估计的熵进行比较，可揭示差异，从而为模型有效性与数据复杂性提供信息。