[论文解读] Learning to Learn with Feedback and Local Plasticity

Jack Lindsey, Ashok Litwin-Kumar|arXiv (Cornell University)|Jun 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用 7

一句话总结

本文提出了一种元学习框架，通过反馈连接和局部可塑性规则训练深度网络进行学习，避免了生物上不切实际的权重传输问题。该方法在在线学习和持续学习任务上的表现与基于梯度的元学习相当或更优，表明基于反馈的学习在减少干扰和实现高效信用分配方面可超越反向传播。

ABSTRACT

Interest in biologically inspired alternatives to backpropagation is driven by the desire to both advance connections between deep learning and neuroscience and address backpropagation's shortcomings on tasks such as online, continual learning. However, local synaptic learning rules like those employed by the brain have so far failed to match the performance of backpropagation in deep networks. In this study, we employ meta-learning to discover networks that learn using feedback connections and local, biologically inspired learning rules. Importantly, the feedback connections are not tied to the feedforward weights, avoiding biologically implausible weight transport. Our experiments show that meta-trained networks effectively use feedback connections to perform online credit assignment in multi-layer architectures. Surprisingly, this approach matches or exceeds a state-of-the-art gradient-based online meta-learning algorithm on regression and classification tasks, excelling in particular at continual learning. Analysis of the weight updates employed by these models reveals that they differ qualitatively from gradient descent in a way that reduces interference between updates. Our results suggest the existence of a class of biologically plausible learning mechanisms that not only match gradient descent-based learning, but also overcome its limitations.

研究动机与目标

• 解决反向传播中权重传输和突触学习非局部性的生物不切实际性问题。
• 开发一种生物启发的学习机制，实现在不依赖梯度下降的情况下进行有效的在线学习和持续学习。
• 探究反馈连接与局部可塑性规则是否能实现与反向传播相当的信用分配。
• 探索元学习是否能发现优于梯度下降的元学习规则，从而在减少干扰和泛化能力方面表现更优。

提出的方法

• 元学习反馈权重、前馈权重初始化和可塑性速率，以指导局部学习规则。
• 使用与前馈权重无关的反馈连接，避免权重传输问题。
• 在前馈网络中应用局部类似Hebb的可塑性规则，根据反馈调制的活动更新权重。
• 通过整个训练过程的反向传播训练元学习器，以优化在线任务上的快速且稳定的学习。
• 采用双层优化：元优化（外层）和在线学习（内层），结合反馈驱动的可塑性。
• 使用反馈路径将目标信息从输出层传递至隐藏层，调制局部更新，而无需全局梯度。

实验结果

研究问题

• RQ1 非对称权重的反馈连接是否能在无反向传播的情况下实现在深层网络中的有效信用分配？
• RQ2 反馈路径的元学习是否会导致与梯度下降定性不同的学习动态？
• RQ3 结合元学习反馈的局部可塑性规则是否能在持续学习中超越基于梯度的元学习？
• RQ4 与标准反向传播相比，反馈调制的学习过程如何减少更新之间的干扰？
• RQ5 生物上合理的学习机制是否能在在线学习和少样本学习中达到或超过基于梯度方法的性能？

主要发现

• 元学习的反馈网络仅通过局部可塑性和非对称反馈权重，成功在多层架构中实现在线信用分配。
• 基于反馈的学习机制在回归和分类任务上与最先进基于梯度的在线元学习算法相当或更优。
• 该方法在持续学习中表现出色，相比梯度下降展现出更高的稳定性和更少的干扰。
• 反馈-可塑性网络中的权重更新与梯度下降在定性上不同，表明其具有独特的学习归纳偏置。
• 该方法避免了生物上不切实际的要求，如权重对称性和非局部梯度信息，从而增强了生物合理性。
• 即使在生命周期内反馈权重固定，该方法仍保持高效，表明反馈无需具备可塑性即可实现高性能。