[论文解读] Hopfield model with planted patterns: a teacher-student self-supervised learning model

Francesco Alemanno, Luca Camanzi+2 more|arXiv (Cornell University)|Apr 26, 2023

Neural Networks and Applications被引用 4

一句话总结

本文提出了一种广义霍普菲尔德模型，通过引入植根的关联模式来模拟教师-学生自监督学习，其中自旋变量代表神经网络权重，而模式对应于训练样本。关键贡献在于提出了一幅相图，表明在小规模、干净的数据集上记忆占主导地位，而当噪声样本超过临界阈值时，泛化能力开始显现，揭示了由数据集噪声和权重正则化（推理温度）驱动的记忆到学习的转变。

ABSTRACT

While Hopfield networks are known as paradigmatic models for memory storage and retrieval, modern artificial intelligence systems mainly stand on the machine learning paradigm. We show that it is possible to formulate a teacher-student self-supervised learning problem with Boltzmann machines in terms of a suitable generalization of the Hopfield model with structured patterns, where the spin variables are the machine weights and patterns correspond to the training set's examples. We analyze the learning performance by studying the phase diagram in terms of the training set size, the dataset noise and the inference temperature (i.e. the weight regularization). With a small but informative dataset the machine can learn by memorization. With a noisy dataset, an extensive number of examples above a critical threshold is needed. In this regime the memory storage limits of the system becomes an opportunity for the occurrence of a learning regime in which the system can generalize.

研究动机与目标

• 通过将权重动态建模为自旋构型，弥合霍普菲尔德网络中的联想记忆与现代自监督机器学习之间的鸿沟。
• 研究数据集噪声和权重正则化（推理温度）如何影响记忆到泛化的转变。
• 推导一幅相图，以训练集大小、噪声水平和正则化强度来表征学习范式。
• 通过教师-学生自监督设置，建立统计力学框架，以理解玻尔兹曼机中的泛化行为。
• 分析在噪声或信息量不足的训练数据下，泛化成为可能的临界阈值。

提出的方法

• 构建一个包含 N 个二元自旋变量的霍普菲尔德模型，代表神经网络权重，以及 M 个淬火二元模式，代表训练样本。
• 通过哈密顿量中的外场项 λ∑iξ̂iξi 引入植根构型（教师信号），以建模先验知识。
• 使用玻尔兹曼-吉布斯分布对自旋构型进行建模，以表示在给定训练数据下网络权重的后验分布。
• 应用副本对称性和洞方法，在热力学极限下计算自由能和序参量（例如与植根模式的重叠）。
• 推导出自旋重叠和磁化率的自洽方程，以分析检索和泛化相。
• 分析系统在贝叶斯最优与非最优情况下的行为，以识别记忆与泛化之间的相变。

实验结果

研究问题

• RQ1 在噪声数据集中，泛化能力开始成为可能的训练样本临界阈值是多少？
• RQ2 数据集噪声与权重正则化（推理温度）之间的相互作用如何影响从记忆到泛化的转变？
• RQ3 具有结构化、关联模式的霍普菲尔德网络是否能表现出一种学习底层数据结构而非仅记忆样本的阶段？
• RQ4 植根构型（教师信号）在噪声环境中促进泛化的角色是什么？
• RQ5 由训练集大小、噪声和正则化定义的系统相图如何决定学习范式？

主要发现

• 当数据集较小且噪声较低时，系统处于记忆阶段，能够准确检索植根模式。
• 对于噪声数据集，只有当训练样本数量超过临界阈值时，泛化才可能实现，且该阈值随噪声水平增加而上升。
• 超过该阈值后，系统进入泛化阶段，能够从信息量弱、噪声大的样本中提取出底层信号。
• 泛化的临界阈值由数据集噪声与权重正则化（推理温度）之间的平衡决定，噪声越高，所需样本越多。
• 相图表明记忆存储容量与泛化并非互斥；相反，当在足够多的噪声样本上训练时，高容量记忆系统也能支持泛化。
• 理论分析确认，模式重叠差异的唯一稳定解为零，意味着在泛化阶段系统检索时具有对称性。