[论文解读] A walk in the statistical mechanical formulation of neural networks

Elena Agliari, Adriano Barra+3 more|arXiv (Cornell University)|Jul 20, 2014

Neural Networks and Applications参考文献 30被引用 5

一句话总结

本文通过两种不同的路径——铁磁模型与自旋玻璃模型——从统计力学角度推导出赫布学习规则，为神经网络建立了统计力学基础，证明了霍普菲尔德网络（记忆检索）与玻尔兹曼机（学习）在热力学上的等价性。此外，将铁磁系统映射为运算放大器，反铁磁系统映射为触发器，从而在理论物理与机器人学及认知工程应用之间建立起切实的桥梁。

ABSTRACT

Neural networks are nowadays both powerful operational tools (e.g., for pattern recognition, data mining, error correction codes) and complex theoretical models on the focus of scientific investigation. As for the research branch, neural networks are handled and studied by psychologists, neurobiologists, engineers, mathematicians and theoretical physicists. In particular, in theoretical physics, the key instrument for the quantitative analysis of neural networks is statistical mechanics. From this perspective, here, we first review attractor networks: starting from ferromagnets and spin-glass models, we discuss the underlying philosophy and we recover the strand paved by Hopfield, Amit-Gutfreund-Sompolinky. One step forward, we highlight the structural equivalence between Hopfield networks (modeling retrieval) and Boltzmann machines (modeling learning), hence realizing a deep bridge linking two inseparable aspects of biological and robotic spontaneous cognition. As a sideline, in this walk we derive two alternative (with respect to the original Hebb proposal) ways to recover the Hebbian paradigm, stemming from ferromagnets and from spin-glasses, respectively. Further, as these notes are thought of for an Engineering audience, we highlight also the mappings between ferromagnets and operational amplifiers and between antiferromagnets and flip-flops (as neural networks -built by op-amp and flip-flops- are particular spin-glasses and the latter are indeed combinations of ferromagnets and antiferromagnets), hoping that such a bridge plays as a concrete prescription to capture the beauty of robotics from the statistical mechanical perspective.

研究动机与目标

• 通过统计力学统一神经网络记忆检索（霍普菲尔德网络）与学习（玻尔兹曼机）的理论框架。
• 通过替代的物理路径——铁磁系统与自旋玻璃系统——重新推导赫布学习法则，超越赫布原始的神经生物学表述。
• 建立统计力学模型与电子元件（运算放大器与触发器）之间明确的一一对应关系，以弥合理论物理与工程学之间的鸿沟。
• 证明玻璃态系统（包含铁磁体与反铁磁体）可通过自由能极小值自然支持大量模式的存储，从而实现关联记忆。
• 通过展示基本统计力学原理如何支撑实际神经网络行为与电子电路，激励工程师与非理论物理学家。

提出的方法

• 使用统计力学将神经网络形式化为自旋系统，将神经元视为具有伊辛模型动力学的自旋。
• 应用平均场近似，从自旋玻璃系统的配分函数推导出霍普菲尔德网络，表明其在主导项下与玻尔兹曼机等价。
• 通过铁磁直觉推导赫布法则：在熵最大化原则下，使自旋与存储模式的对齐程度最大化。
• 通过自旋玻璃的挫折性分析，研究具有多个对应于存储模式的亚稳态极小值的自由能景观，从而推导赫布法则。
• 将铁磁序映射为信号放大（运算放大器），将反铁磁序映射为二进制存储（触发器），建立自旋系统与电子元件之间的联系。
• 使用具有因子化配分函数的双分量自旋玻璃模型（玻尔兹曼机），表明其主导贡献与霍普菲尔德模型同构。

实验结果

研究问题

• RQ1 赫布学习法则能否在不依赖赫布原始神经生物学论证的前提下，从统计力学原理中独立推导？
• RQ2 霍普菲尔德网络（记忆检索）与玻尔兹曼机（学习）之间存在何种热力学关系？统计力学如何统一二者？
• RQ3 铁磁系统与自旋玻璃系统各自如何提供不同的物理路径以推导赫布法则？它们各自的物理诠释是什么？
• RQ4 自旋系统如何被映射为运算放大器与触发器等电子元件？这种映射如何支持实际神经网络设计？
• RQ5 自旋玻璃系统中的挫折性在支持大量模式存储方面发挥何种作用？这与关联记忆有何关联？

主要发现

• 赫布学习法则通过铁磁系统重新推导得出：在熵最大化原则下，使自旋与存储模式对齐。
• 赫布学习法则也通过自旋玻璃系统重新推导得出：通过最小化具有多个亚稳态的自由能，每个亚稳态对应一个存储模式。
• 证明了玻尔兹曼机（学习模型）的主导贡献与霍普菲尔德网络（检索模型）完全相同，从而确立了二者在热力学上的等价性。
• 在平均场近似下，玻尔兹曼机的配分函数可因子化，产生一个类似霍普菲尔德的哈密顿量，其耦合项与存储模式的外积成正比。
• 铁磁系统被映射为运算放大器，因其可通过集体自旋对齐实现信号放大。
• 反铁磁系统被映射为触发器，因其具有二进制、稳定且可切换的特性，可模拟数字存储。