[论文解读] Hierarchical Associative Memory

Dmitry Krotov|arXiv (Cornell University)|Jul 14, 2021

Neural Networks and Applications参考文献 31被引用 12

一句话总结

本文提出了分层关联记忆（Hierarchical Associative Memory, HAM），一种全循环、多层关联记忆模型，具有任意深度和混合连接方式（密集连接与卷积连接并存）。该模型通过拉格朗日力学推导出全局能量函数，实现了对固定点吸引子的收敛，从而在保证生物合理性与端到端可训练性的前提下，通过自底向上和自顶向下的动力学实现分层记忆构建。

ABSTRACT

Dense Associative Memories or Modern Hopfield Networks have many appealing properties of associative memory. They can do pattern completion, store a large number of memories, and can be described using a recurrent neural network with a degree of biological plausibility and rich feedback between the neurons. At the same time, up until now all the models of this class have had only one hidden layer, and have only been formulated with densely connected network architectures, two aspects that hinder their machine learning applications. This paper tackles this gap and describes a fully recurrent model of associative memory with an arbitrary large number of layers, some of which can be locally connected (convolutional), and a corresponding energy function that decreases on the dynamical trajectory of the neurons' activations. The memories of the full network are dynamically "assembled" using primitives encoded in the synaptic weights of the lower layers, with the "assembling rules" encoded in the synaptic weights of the higher layers. In addition to the bottom-up propagation of information, typical of commonly used feedforward neural networks, the model described has rich top-down feedback from higher layers that help the lower-layer neurons to decide on their response to the input stimuli.

研究动机与目标

• 为克服现有现代霍普菲尔德网络的局限性，后者受限于单层全连接架构，且在机器学习任务中表征能力有限。
• 开发一种具有任意深度和混合连接方式（包括卷积层）的多层循环关联记忆模型，以支持更丰富的归纳偏置。
• 建立一个全局能量函数，通过拉格朗日力学导出的李雅普诺夫函数，确保收敛至固定点吸引子。
• 实现自底向上与自顶向下的信息流动，模拟生物神经处理机制，同时保持数学严谨性与生物合理性。
• 提供一种通用形式化框架，支持新型架构设计（如跳跃连接、侧向连接与门控单元），且无需依赖可逆激活函数。

提出的方法

• 利用拉格朗日函数推导出一个广义能量函数，用于描述具有神经元特异性激活函数与时间常数的全连接现代霍普菲尔德网络的动力学。
• 将拉格朗日形式化方法扩展至分层网络结构，其中每一层具有相同的激活函数与时间常数，从而实现模块化的记忆表征。
• 基于拉格朗日函数的梯度，为每一层构建显式动力学方程，确保能量函数沿轨迹单调递减。
• 施加反馈权重等于前馈权重转置的条件，以保证全局能量函数存在且有下界。
• 通过高层向低层的反馈，引导低层动力学，使吸引子能够由低层编码的原始单元动态组装而成。
• 通过直接使用拉格朗日方法，避免了标准能量函数推导中对可逆激活函数（如softmax）的依赖。

实验结果

研究问题

• RQ1 能否构建一个具有可证明收敛动力学与全局能量函数的多层循环关联记忆模型？
• RQ2 如何实现分层记忆组装，使得高层编码用于组装低层存储的原始单元的‘组装规则’？
• RQ3 该模型能否在保持基于能量的收敛性与生物合理性的同时，支持混合连接方式（密集连接与卷积连接）？
• RQ4 是否可能在能量函数推导中避免对可逆激活函数的要求，特别是对于如Transformer等现代架构？
• RQ5 引入自顶向下的反馈如何增强深层关联网络中的模式补全与记忆检索能力？

主要发现

• 所提出的分层关联记忆（HAM）模型支持任意深度与混合连接方式（包括卷积层），显著扩展了现代霍普菲尔德网络的适用范围。
• 由于全局能量函数沿动力学轨迹单调递减，该模型可保证收敛至固定点吸引子。
• 能量函数通过拉格朗日力学推导得出，无需依赖可逆激活函数，这对使用softmax或对比归一化等模型尤为重要。
• 吸引子状态通过高层的‘组装规则’从低层原始单元动态组装而成，实现模块化且可重用的记忆表征。
• 该模型支持自底向上与自顶向下的双向信息流动，其动力学特性较标准前馈网络更为丰富。
• 该形式化框架支持新型架构设计，如跳跃连接、侧向连接或门控单元，同时保持基于能量的收敛性。