[论文解读] Meta-Learning Deep Energy-Based Memory Models

Sergey Bartunov, Jack W. Rae+2 more|arXiv (Cornell University)|Oct 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 56被引用 22

一句话总结

本文提出了一种元学习框架，用于训练深度能量基记忆模型（EBMMs），实现对高维模式（如图像）的快速、压缩性写入与检索。通过元学习的权重更新，该方法仅用5步即可将模式存储于神经网络参数中作为记忆，在合成数据和自然数据上实现了最先进的重建准确率与压缩率。

ABSTRACT

We study the problem of learning associative memory -- a system which is able to retrieve a remembered pattern based on its distorted or incomplete version. Attractor networks provide a sound model of associative memory: patterns are stored as attractors of the network dynamics and associative retrieval is performed by running the dynamics starting from a query pattern until it converges to an attractor. In such models the dynamics are often implemented as an optimization procedure that minimizes an energy function, such as in the classical Hopfield network. In general it is difficult to derive a writing rule for a given dynamics and energy that is both compressive and fast. Thus, most research in energy-based memory has been limited either to tractable energy models not expressive enough to handle complex high-dimensional objects such as natural images, or to models that do not offer fast writing. We present a novel meta-learning approach to energy-based memory models (EBMM) that allows one to use an arbitrary neural architecture as an energy model and quickly store patterns in its weights. We demonstrate experimentally that our EBMM approach can build compressed memories for synthetic and natural data, and is capable of associative retrieval that outperforms existing memory systems in terms of the reconstruction error and compression rate.

研究动机与目标

• 解决经典霍普菲尔德网络在处理高维数据和扩展容量方面的局限性。
• 克服变分自编码器（VAEs）和受限玻尔兹曼机（RBMs）等深度概率模型中写入过程缓慢的问题，这些模型通常需要数千次梯度更新步骤。
• 通过元学习的更新规则，实现在少数步骤内快速、高效地写入与检索记忆，从而实现记忆的快速写入与检索。
• 开发一种记忆系统，在面对复杂、高维输入时仍能保持高保真度和低虚假吸引子率。
• 证明任意深度神经网络架构均可作为表达性强的能量函数，同时保持快速的学习与检索动态。

提出的方法

• 使用神经网络参数化能量函数，以实现对图像等复杂数据的高表达能力。
• 训练元学习器以生成快速权重更新（5步），将新模式作为能量函数的局部极小值进行存储。
• 设计一种写入损失函数，结合能量值、梯度范数和先验项，以稳定并提升优化性能。
• 通过在能量函数上进行梯度下降实现检索，从失真查询中收敛至已存储的模式。
• 引入跳跃连接和门控循环模块，以增强梯度流动，并实现元学习更新过程中的有效反向传播。
• 采用可微分、可微分的架构，使前向与反向传播均具备表达能力，从而实现端到端的元学习写入规则训练。

实验结果

研究问题

• RQ1 元学习能否用于训练深度能量基模型，使其具备泛化于多样化模式的快速、少步数写入规则？
• RQ2 与经典和深度记忆模型相比，元学习EBMM在重建误差和压缩率方面的性能如何？
• RQ3 在写入损失中引入梯度范数正则化对优化稳定性与最终性能有何影响？
• RQ4 任意深度神经网络架构能否作为表达性强的能量函数，同时保持快速可靠的关联检索？
• RQ5 跳跃连接和门控循环组件如何影响元学习记忆系统中的学习与检索动态？

主要发现

• 所提出的元学习EBMM在Omniglot和CIFAR-10数据集上实现了最先进的重建误差，优于以往的记忆模型。
• 该方法仅通过5步权重更新即可完成模式存储，实现每模式O(N)复杂度的快速写入，对记忆系统而言为最优性能。
• 在写入损失中引入梯度范数显著提升了优化稳定性，并在训练初期即带来更优的最终性能。
• 模型保持了低虚假吸引子率，表明即使在高度失真的查询下，仍能实现稳健的关联检索。
• 门控循环模块与跳跃连接的使用，使元学习更新过程中的反向传播更加有效，这对训练深度能量函数至关重要。
• 该系统在多样化数据类型上具有良好的泛化能力，证明其在合成数据与自然图像数据上均能实现高效的内存压缩与检索。