[论文解读] Metalearning with Hebbian Fast Weights

Tsendsuren Munkhdalai, Adam Trischler|arXiv (Cornell University)|Jul 12, 2018

Ferroelectric and Negative Capacitance Devices参考文献 22被引用 23

一句话总结

该论文提出了一种元学习模型，将用于表征学习的慢速权重与用于少样本标签绑定的赫布型快速权重相结合。通过使用赫布规则动态构建任务特定的关联记忆矩阵，该模型在 Omniglot、Mini-ImageNet 和 Penn Treebank 基准测试中实现了最先进性能，同时相比基于梯度的快速权重学习，推理速度最快可提升 100 倍。

ABSTRACT

We unify recent neural approaches to one-shot learning with older ideas of associative memory in a model for metalearning. Our model learns jointly to represent data and to bind class labels to representations in a single shot. It builds representations via slow weights, learned across tasks through SGD, while fast weights constructed by a Hebbian learning rule implement one-shot binding for each new task. On the Omniglot, Mini-ImageNet, and Penn Treebank one-shot learning benchmarks, our model achieves state-of-the-art results.

研究动机与目标

• 为解决少样本学习中的挑战，即模型必须在极少量数据下快速将新类别标签绑定到表征上。
• 通过结合用于共享表征的慢速权重与用于任务特定绑定的快速权重，统一元学习与关联记忆机制。
• 开发一种计算高效的元学习框架，避免对快速权重进行反向传播，从而实现更快的训练与推理。
• 证明在少样本设置中，基于赫布规则的快速权重构建方法优于基于梯度的快速权重学习方法。

提出的方法

• 模型使用慢速权重，通过跨任务的随机梯度下降进行更新，以学习输入的深层、可泛化的表征。
• 快速权重通过赫布学习规则构建：M ← M + η h_{ℓ-1} h_ℓ^T，其中前突触与后突触层的激活值用于更新记忆矩阵。
• 快速权重矩阵作为线性关联记忆（LAM），利用外积规则存储键值对（表征与标签）：M = Σ k_i v_i^T。
• 在推理阶段，模型通过用表征向量查询记忆矩阵来检索标签：r = M^T q，从而实现少样本标签绑定。
• 模型通过慢速与快速权重的联合优化进行端到端训练，使表征学习与绑定过程能够协同适应。
• 快速权重机制应用于全连接层，消融实验表明，将快速权重置于 Softmax 层之下可提升性能。

实验结果

研究问题

• RQ1 在元学习任务中，基于赫布规则的快速权重构建方法是否优于基于梯度的快速权重学习方法？
• RQ2 将用于表征学习的慢速权重与用于少样本绑定的快速权重相结合，是否能提升少样本泛化能力？
• RQ3 赫布型快速权重在训练与推理阶段的计算效率与基于梯度的快速权重适应相比如何？
• RQ4 快速权重在架构中的位置（例如，位于 Softmax 层或更早层）对模型性能有何影响？
• RQ5 仅通过简单的赫布机制，是否可在不进行快速权重反向传播的情况下实现最先进性能？

主要发现

• 该模型在 Omniglot 少样本学习基准测试中实现了最先进性能，优于先前方法。
• 在 Mini-ImageNet 5 类 1 样本任务中，该模型达到 74.5% 的 top-1 准确率，超过此前最先进方法的 73.8%。
• 在 Penn Treebank 语言建模任务中，该模型在 3 样本任务中达到 58% 的准确率，优于此前最先进方法的 57%。
• 赫布型快速权重机制使推理速度相比基于梯度的快速权重模型最高提升 100 倍。
• 消融实验表明，将快速权重置于 Softmax 层会降低准确率 2%，而移除慢速权重路径则显著损害性能，证实了两者的必要性。
• 通过快速权重截断梯度会损害性能，表明端到端学习对于实现最优协同适应至关重要。