[论文解读] Biologically inspired sleep algorithm for artificial neural networks

Giri P. Krishnan, Timothy Tadros+2 more|arXiv (Cornell University)|Aug 1, 2019

Robotic Path Planning Algorithms被引用 10

一句话总结

本文提出了一种受生物学启发的人工神经网络（ANN）睡眠算法，通过将ANN转换为脉冲神经网络（SNN），利用具有噪声和高活性输入的脉冲时间依赖可塑性（STDP）模拟离线睡眠阶段，再将SNN转换回ANN，从而改善增量学习和泛化能力。该方法可减少灾难性遗忘，增强对噪声和模糊输入的鲁棒性，并实现对未见过任务的前向迁移学习。

ABSTRACT

Sleep plays an important role in incremental learning and consolidation of memories in biological systems. Motivated by the processes that are known to be involved in sleep generation in biological networks, we developed an algorithm that implements a sleep-like phase in artificial neural networks (ANNs). After initial training phase, we convert the ANN to a spiking neural network (SNN) and simulate an offline sleep-like phase using spike-timing dependent plasticity rules to modify synaptic weights. The SNN is then converted back to the ANN and evaluated or trained on new inputs. We demonstrate several performance improvements after applying this processing to ANNs trained on MNIST, CUB200 and a motivating toy dataset. First, in an incremental learning framework, sleep is able to recover older tasks that were otherwise forgotten in the ANN without sleep phase due to catastrophic forgetting. Second, sleep results in forward transfer learning of unseen tasks. Finally, sleep improves generalization ability of the ANNs to classify images with various types of noise. We provide a theoretical basis for the beneficial role of the brain-inspired sleep-like phase for the ANNs and present an algorithmic way for future implementations of the various features of sleep in deep learning ANNs. Overall, these results suggest that biological sleep can help mitigate a number of problems ANNs suffer from, such as poor generalization and catastrophic forgetting for incremental learning.

研究动机与目标

• 解决人工神经网络在增量学习过程中出现的灾难性遗忘问题。
• 提升人工神经网络对噪声或退化输入（如模糊或带噪图像）的泛化能力。
• 在无需显式微调的情况下，实现对未训练但相关任务的前向迁移学习。
• 利用脉冲动力学和STDP，在人工神经网络中实现生物上合理的睡眠机制。
• 提供一种可扩展、内存高效的替代方案，以取代现有的回放或正则化持续学习方法。

提出的方法

• 将具有ReLU激活函数的预训练人工神经网络（ANN）转换为脉冲神经网络（SNN），以实现离线处理。
• 通过施加增加内在活动和噪声输入的脉冲时间依赖可塑性（STDP），在SNN中模拟类似睡眠的阶段，以重新激活存储的模式。
• 在模拟睡眠阶段使用无监督STDP修改突触权重，以模拟生物记忆巩固过程。
• 将修改后的SNN重新转换为ANN，并在新任务上进行评估或继续训练。
• 在初始反向传播训练后、新任务学习前应用睡眠阶段，以实现记忆保留和泛化能力提升。
• 使用MNIST、CUB200和一个玩具数据集，在多样化任务和输入失真条件下验证性能。

实验结果

研究问题

• RQ1 受生物学启发的睡眠阶段是否能减少人工神经网络在增量学习过程中的灾难性遗忘？
• RQ2 在SNN中模拟睡眠是否能提升人工神经网络对噪声或退化输入的泛化能力？
• RQ3 睡眠阶段是否能实现对未训练但相关任务的前向迁移学习？
• RQ4 与现有的回放或正则化技术相比，该睡眠机制在内存效率和性能方面表现如何？
• RQ5 睡眠期间的随机网络动力学在增强表征泛化方面起到何种作用？

主要发现

• 该睡眠算法显著减少了灾难性遗忘，在新任务训练后成功恢复了对先前学习任务的性能。
• 经过睡眠处理后，网络在噪声和模糊MNIST图像上的分类准确率从约20%提升至50%。
• 网络表现出前向迁移学习能力，在未显式训练但相关的任务上性能得到提升。
• 该方法在无需存储原始训练数据或生成模型的情况下，增强了对输入失真的泛化能力。
• 睡眠处理提升了对对抗性攻击的鲁棒性，后续分析显示其抵抗能力增强。
• 该方法在维持对旧任务的功能连接方面优于基线ANN，表明部分遗忘知识得以保留。