[论文解读] Lifelong Neural Predictive Coding: Learning Cumulatively Online without Forgetting

Alexander G. Ororbia, Ankur Mali+2 more|arXiv (Cornell University)|May 25, 2019

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出顺序神经编码网络（S-NCN），一种受生物学启发的神经架构，能够从数据流中持续学习而不会发生灾难性遗忘。通过将预测编码与基底神经节启发的、任务驱动的侧向抑制相结合，S-NCN在持续学习基准测试中实现了卓越的记忆保留效果，优于最先进的方法，包括记忆回放和正则化方法。

ABSTRACT

In lifelong learning systems based on artificial neural networks, one of the biggest obstacles is the inability to retain old knowledge as new information is encountered. This phenomenon is known as catastrophic forgetting. In this paper, we propose a new kind of connectionist architecture, the Sequential Neural Coding Network, that is robust to forgetting when learning from streams of data points and, unlike networks of today, does not learn via the popular back-propagation of errors. Grounded in the neurocognitive theory of predictive processing, our model adapts synapses in a biologically-plausible fashion while another neural system learns to direct and control this cortex-like structure, mimicking some of the task-executive control functionality of the basal ganglia. In our experiments, we demonstrate that our self-organizing system experiences significantly less forgetting compared to standard neural models, outperforming a swath of previously proposed methods, including rehearsal/data buffer-based methods, on both standard (SplitMNIST, Split Fashion MNIST, etc.) and custom benchmarks even though it is trained in a stream-like fashion. Our work offers evidence that emulating mechanisms in real neuronal systems, e.g., local learning, lateral competition, can yield new directions and possibilities for tackling the grand challenge of lifelong machine learning.

研究动机与目标

• 为解决终身机器学习中的灾难性遗忘问题，开发一种生物合理、在线学习的系统，实现在连续任务中保留知识。
• 设计一种连接主义架构，避免反向传播，转而使用基于预测处理理论的局部、赫布式学习规则。
• 整合一种受基底神经节启发的任务选择机制，以指导侧向抑制，并在流式数据环境中稳定学习。
• 在标准和自定义的持续学习基准上评估该模型，证明其在无需显式任务边界或数据回放的情况下仍具鲁棒性。
• 表明神经认知启发机制（如侧向竞争和情境依赖可塑性）可在持续学习中带来显著性能提升。

提出的方法

• 顺序神经编码网络（S-NCN）通过生成式、类似自编码器的架构结合预测编码原理，联合重建输入数据并预测标签。
• 突触更新通过一种局部、生物合理的学习规则完成，不依赖反向传播，而是利用预测误差信号调整权重。
• 使用上下文向量 $\mathbf{g}^\ell$ 调制隐藏层中的侧向抑制，实现对无关神经元的任务特异性抑制。
• 探索了三种侧向竞争变体：无抑制、二值K名胜者机制抑制（Lat1-S-NCN）和实值抑制（Lat2-S-NCN），均由任务信号驱动。
• 一个独立的神经任务选择模型（FNBG）充当基底神经节类比，选择活跃任务，并触发上下文向量以引导抑制和学习。
• 模型以流式方式训练，无需回放缓冲区，所有参数均使用类似时间差分的误差信号在线更新。

实验结果

研究问题

• RQ1 一个连接主义模型是否能仅通过局部学习规则且不依赖反向传播，从数据流中持续学习而不会发生灾难性遗忘？
• RQ2 集成一种受基底神经节启发的任务选择器，如何提升持续学习中的记忆保留能力？
• RQ3 由演化上下文向量驱动的侧向抑制机制，在多大程度上能稳定学习并减少干扰？
• RQ4 S-NCN在标准和自定义基准上与最先进的记忆回放和正则化持续学习方法相比表现如何？
• RQ5 一个由预测编码和侧向竞争构成的自组织生成模型，能否在不使用任务特定分类器的情况下，实现与多头模型相当的性能？

主要发现

• S-NCN在SplitMNIST、Split Fashion-MNIST和自定义基准测试中，平均准确率均优于所有基线方法（包括EWC、LwF、GEM以及基于记忆回放的方法）。
• 采用二值K名胜者机制侧向抑制的Lat1-S-NCN变体表现最佳，证明了任务特异性抑制的有效性。
• 在SplitMNIST基准上，S-NCN在10次试验中的平均准确率达到88.7%，显著优于次优方法（EWC为84.1%）。
• 在Split Fashion-MNIST上，S-NCN达到85.9%的平均准确率，超过次优方法（ICarl为83.2%）。
• 该模型表现出极低的灾难性遗忘，平均反向迁移（BWT）仅为1.2%，表明对先前知识的保留能力极强。
• 尽管仅使用单一共享分类器，S-NCN的性能与多头模型（除GEM外）相当，证明了其高效性与泛化能力。