[论文解读] Learning to learn with backpropagation of Hebbian plasticity

Thomas Miconi|arXiv (Cornell University)|Sep 8, 2016

Robot Manipulation and Learning参考文献 6被引用 6

一句话总结

本文提出反向传播赫布可塑性（BOHP），一种使神经网络能够通过反向传播同时训练基础权重和可塑性参数，从而实现‘学会学习’的方法。通过推导赫布痕迹的解析梯度，BOHP使网络能够通过快速、终身学习迅速适应新的不可预测刺激，在少样本学习、模式补全和反转学习任务中表现出色。

ABSTRACT

Hebbian plasticity is a powerful principle that allows biological brains to learn from their lifetime experience. By contrast, artificial neural networks trained with backpropagation generally have fixed connection weights that do not change once training is complete. While recent methods can endow neural networks with long-term memories, Hebbian plasticity is currently not amenable to gradient descent. Here we derive analytical expressions for activity gradients in neural networks with Hebbian plastic connections. Using these expressions, we can use backpropagation to train not just the baseline weights of the connections, but also their plasticity. As a result, the networks "learn how to learn" in order to solve the problem at hand: the trained networks automatically perform fast learning of unpredictable environmental features during their lifetime, expanding the range of solvable problems. We test the algorithm on various on-line learning tasks, including pattern completion, one-shot learning, and reversal learning. The algorithm successfully learns how to learn the relevant associations from one-shot instruction, and fine-tunes the temporal dynamics of plasticity to allow for continual learning in response to changing environmental parameters. We conclude that backpropagation of Hebbian plasticity offers a powerful model for lifelong learning.

研究动机与目标

• 通过将赫布可塑性与反向传播相结合，使人工神经网络能够实现终身学习。
• 推导赫布可塑性参数的解析梯度，使其可通过标准反向传播进行训练。
• 使网络在推理过程中能自动适应新的、不可预测的环境特征，扩展其问题求解能力。
• 证明训练可塑性参数可实现在在线学习和持续学习场景中的快速、自适应学习。

提出的方法

• 网络使用前突触和后突触活动的运行平均值作为赫布痕迹，由时间常数衰减率 γ 定义。
• 每个时间步的连接强度是固定基础权重（w_k）与可塑性调节成分（α_k × Hebb_k）的组合。
• 推导了输出活动相对于 w_k 和 α_k 的解析梯度，通过递归表达式考虑时间依赖性。
• 梯度方程为递归形式，依赖于过去活动和赫布痕迹，支持时间反向传播。
• 该方法支持通过标准反向传播实现基础权重和可塑性参数的端到端训练。
• 通过相应修改梯度方程，该方法可推广至其他赫布规则（例如，instar、outstar、BCM）

实验结果

研究问题

• RQ1 人工神经网络中的赫布可塑性能否实现可微分化并可通过反向传播进行训练？
• RQ2 训练可塑性参数能否使网络在面对新出现的、不可预测输入时实现快速的少样本学习？
• RQ3 网络能否调整其可塑性的时序动态，以支持在环境条件变化下的持续学习？
• RQ4 与固定可塑性相比，反向传播可塑性参数是否能提升在线学习任务中的性能？

主要发现

• 本文成功推导出具有赫布可塑性的网络中基础权重和可塑性参数的解析梯度，实现了端到端反向传播。
• 该方法使网络能够实现‘学会学习’，通过本身经反向传播训练的可塑性，快速适应新刺激。
• 在少样本学习任务中，BOHP 网络仅需极少暴露于新图案即可实现高准确率，展现出快速适应能力。
• 在反转学习任务中，网络能微调其可塑性动态，以在环境规则改变时做出适当响应。
• 该算法通过实现持续的、基于经验的自适应，成功扩展了神经网络可解决的问题范围。
• 该方法具有通用性，通过相应修改梯度表达式，可扩展至其他赫布学习规则。