[论文解读] Dense Associative Memory for Pattern Recognition

Dmitry Krotov, J. J. Hopfield|arXiv (Cornell University)|Jun 3, 2016

Neural Networks and Applications参考文献 15被引用 27

一句话总结

本文提出了一种密集关联记忆模型，通过在能量函数中引入高阶相互作用，使存储和检索的模式数量远超神经元数量。该模型与深度前馈网络建立了对偶关系，表明修正的多项式激活函数（例如更高次的ReLU）自然地从该框架中涌现，从而实现基于特征和原型的表示，同时提升容量和计算特性。

ABSTRACT

A model of associative memory is studied, which stores and reliably retrieves many more patterns than the number of neurons in the network. We propose a simple duality between this dense associative memory and neural networks commonly used in deep learning. On the associative memory side of this duality, a family of models that smoothly interpolates between two limiting cases can be constructed. One limit is referred to as the feature-matching mode of pattern recognition, and the other one as the prototype regime. On the deep learning side of the duality, this family corresponds to feedforward neural networks with one hidden layer and various activation functions, which transmit the activities of the visible neurons to the hidden layer. This family of activation functions includes logistics, rectified linear units, and rectified polynomials of higher degrees. The proposed duality makes it possible to apply energy-based intuition from associative memory to analyze computational properties of neural networks with unusual activation functions - the higher rectified polynomials which until now have not been used in deep learning. The utility of the dense memories is illustrated for two test cases: the logical gate XOR and the recognition of handwritten digits from the MNIST data set.

研究动机与目标

• 为克服传统关联记忆模型的容量限制，后者仅能存储约0.14N个模式（N个神经元）
• 开发一种能够可靠存储和检索远超神经元数量的模式的模型
• 在密集关联记忆与具有新型激活函数的单隐藏层前馈网络之间建立正式对偶关系
• 探索修正多项式激活函数（超越ReLU）在深度学习中的计算特性
• 通过理论分析和在XOR与MNIST上的数值模拟，验证模型的容量和鲁棒性

提出的方法

• 提出一种修改后的能量函数，引入神经元之间的高阶（n阶）相互作用，替代标准的二次型形式
• 在能量函数的相互作用幂次n与单隐藏层神经网络中激活函数的次数（n−1）之间建立对偶映射
• 在隐藏层中使用修正多项式激活函数 f_n(x) = max(0, x)^n，其中 n ≥ 1
• 采用基于目标函数的梯度训练方法，该目标函数在关联记忆框架中最小化重构误差
• 在GPU上使用小批量训练，基于推导出的梯度同时更新可见层和记忆向量
• 通过使用二值记忆向量的数值模拟和随机初始状态下的收敛性分析，验证容量扩展特性

实验结果

研究问题

• RQ1 具有高阶相互作用的关联记忆模型是否能存储远超神经元数量的模式？
• RQ2 深度网络中激活函数的选择如何与关联记忆中能量函数的结构相关联？
• RQ3 在模式识别任务中，修正多项式激活函数（超越ReLU）提供了哪些计算优势？
• RQ4 在记忆容量方面，基于幂次的能量函数与修正多项式能量函数之间是否存在理论和数值上的对应关系？
• RQ5 当存储的记忆数量超过神经元数量时，此类模型是否仍能可靠地重构模式？

主要发现

• 该模型实现了高记忆容量：当 n=4 时，理论最大容量超过 7,000 个记忆（N=100 个神经元），且模拟结果证实当 K < K_max 时可实现近乎完美的恢复
• 数值模拟显示，当 n=4 时，在 K=2000 的情况下，10,000 个初始配置中有 100% 成功收敛至存储的记忆，表明检索具有高度可靠性
• 修正多项式模型的容量扩展与理论预测高度一致，结果略高于理论曲线，但表现出相同的非线性行为
• 当 n=2 和 n=3 时，K=2000 的情况下模型无法可靠恢复记忆，与理论容量极限（K_max ≈ 11 和 360 分别）一致
• 关联记忆与深度网络之间的对偶性成立：n 阶能量函数对应于对偶网络中 (n−1) 次修正多项式激活函数
• 推导出的训练梯度类似于标准反向传播，但针对幂次激活函数进行了适配，从而实现高效的GPU训练