[论文解读] A Backpropagation-Free Feedback-Hebbian Network for Continual Learning Dynamics

Josh Li, Fow‐Sen Choa|arXiv (Cornell University)|Jan 11, 2026

Advanced Memory and Neural Computing被引用 0

一句话总结

该论文提出一个极简的两前向、两反馈通道网络，通过严格局部规则（中心化 Hebbian 协方差、Oja 稳定化和局部监督）进行训练，以在连续学习中体现保持、卸载和条件作用等原始能力，在顺序与交错训练下表现良好。研究显示专门的反馈机制能够实现再生和并发维持，而无需反向传播。

ABSTRACT

Feedback-rich neural architectures can regenerate earlier representations and inject temporal context, making them a natural setting for strictly local synaptic plasticity. Existing literature raises doubt about whether a minimal, backpropagation-free feedback-Hebbian system can already express interpretable continual-learning-relevant behaviors under controlled training schedules. In this work, we introduce a compact prediction-reconstruction architecture with a dedicated feedback pathway providing lightweight, locally trainable temporal context for continual adaptation. All synapses are updated by a unified local rule combining centered Hebbian covariance, Oja-style stabilization, and a local supervised drive where targets are available. With a simple two-pair association task, learning is characterized through layer-wise activity snapshots, connectivity trajectories (row and column means of learned weights), and a normalized retention index across phases. Under sequential A to B training, forward output connectivity exhibits a long-term depression (LTD)-like suppression of the earlier association, while feedback connectivity preserves an A-related trace during acquisition of B. Under an alternating sequence, both associations are concurrently maintained rather than sequentially suppressed. Architectural controls and rule-term ablations isolate the role of dedicated feedback in regeneration and co-maintenance, alongside the role of the local supervised term in output selectivity and unlearning. Together, the results show that a compact feedback pathway trained with local plasticity can support regeneration and continual-learning-relevant dynamics in a minimal, mechanistically transparent setting.

研究动机与目标

• 激发并评估一个紧凑的反馈–Hebbian 系统在严格局部可塑性下是否能表达持续学习原语。
• 引入一个带有专用反馈通道的最小预测–重构结构，用于时间上下文。
• 提供一个统一的局部学习规则，用于前向预测和反馈重构，而不需要权重传输或全局误差。
• 通过层内活动、权重轨迹和在受控协议下的保留指数来表征学习动力学。

提出的方法

• 两层前向通路（两个 10×10 层）用于对输出的预测。
• 两层专用反馈层（两个 10×10 层）重构早期活动并以叠加方式注入作为时间上下文。
• 对所有学习矩阵应用一个单一局部可塑性规则：Δw = lr[(x−⟨x⟩)(y−⟨y⟩) − β(y−⟨y⟩)^2 w + (t−y)x]，包含活动中心化、Oja 正规化，以及在有目标时的局部监督项。
• 激活函数 φ(z) = 1/2(1 + tanh(z))，使激活在 0 和 1 之间。
• 测试顺序学习（阶段1:A，阶段2:B）的 A→B 序列以及 A/B 条件下的交错训练，及分阶段的连接性分析。

实验结果

研究问题

• RQ1 一个无反向传播、局部训练的反馈–Hebbian网络是否能表达可解释的持续学习原语？
• RQ2 在不同训练安排下，前向预测与反馈重构如何交互以产生保持、卸载和条件作用？
• RQ3 更新项（协方差、Oja 正规化和局部监督）在实现或约束这些原语中扮演何种角色？
• RQ4 浅层的 2FF+2FB 架构是否足以解释观察到的动力学，进行结构改动会带来怎样的变化？

主要发现

Update variant	Max |W|	Layer of max
Proposed (full rule)	1.16	Forward layer 1
No decay (no Oja term)	1.72	Forward layer 1
No covariance term	1.99	Forward layer 2
No supervised term	0.54	Forward layer 1

• 在顺序学习 A→B 的情况下，前向输出连接转向 B，而与 A 相关的前向目标被抑制（类似 LTD 的卸载）。
• 反馈层连接在获取 B 的过程中保持 A 相关的痕迹，显示反馈通道中的保持。
• 在交替的 A/B 序列中，前向输出与反馈层中的两种联系均被同时维持，表明通过时间交替实现条件作用。
• 移除反馈通道会削弱再生能力并削弱并发条件作用，表明专用反馈对这些动力学是必要的。
• 规则项的消融表明监督对输出选择性和 LTD 类卸载是必需的，而协方差和 Oja 项则调控权重规模与稳定性。