[论文解读] Continual Backprop: Stochastic Gradient Descent with Persistent Randomness

Shibhansh Dohare, Richard S. Sutton+1 more|arXiv (Cornell University)|Aug 13, 2021

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

本文指出，带有反向传播的随机梯度下降（Backprop）在非平稳学习环境中会因随机权重初始化的一次性使用而出现‘可塑性衰减’——其适应能力随时间推移而下降。为解决此问题，作者提出了一种新算法Continual Backprop（CBP），通过生成与测试机制持续注入随机特征，使模型在监督学习和强化学习任务中均能持续适应，支持数千次非平稳性变化。

ABSTRACT

The Backprop algorithm for learning in neural networks utilizes two mechanisms: first, stochastic gradient descent and second, initialization with small random weights, where the latter is essential to the effectiveness of the former. We show that in continual learning setups, Backprop performs well initially, but over time its performance degrades. Stochastic gradient descent alone is insufficient to learn continually; the initial randomness enables only initial learning but not continual learning. To the best of our knowledge, ours is the first result showing this degradation in Backprop's ability to learn. To address this degradation in Backprop's plasticity, we propose an algorithm that continually injects random features alongside gradient descent using a new generate-and-test process. We call this the \ extit{Continual Backprop} algorithm. We show that, unlike Backprop, Continual Backprop is able to continually adapt in both supervised and reinforcement learning (RL) problems. Continual Backprop has the same computational complexity as Backprop and can be seen as a natural extension of Backprop for continual learning.

研究动机与目标

• 探究为何Backprop在存在大量分布漂移的非平稳学习环境中失效。
• 识别出初始随机权重初始化带来的优势无法持续，导致模型适应能力随时间下降。
• 开发一种可扩展、计算高效的算法，以在动态环境中维持持续适应能力。
• 证明标准正则化（如L2）在高度非平稳问题中长期适应方面不足。
• 通过解决Backprop中的‘可塑性衰减’问题，为未来鲁棒的持续学习算法奠定基础。

提出的方法

• 提出Continual Backprop（CBP），作为Backprop的扩展，将持久随机性整合到整个训练过程中。
• 采用生成与测试机制：生成器提出新的随机特征，测试器评估并替换低效用特征。
• 使用基于启发式的测试器识别并替换低效用特征，确保特征多样性与可塑性持续存在。
• 保持与标准Backprop相同的计算复杂度，确保与现代深度学习框架的兼容性。
• 将CBP应用于监督学习（半平稳问题、置换MNIST）和强化学习（Slippery Ant环境）。
• 将CBP与策略梯度方法（如PPO）结合，实现在非平稳强化学习任务中的持续适应。

实验结果

研究问题

• RQ1 在存在大量分布漂移的非平稳学习问题中，Backprop是否会随时间丧失适应能力？
• RQ2 尽管初始性能强劲，为何Backprop在持续学习中仍会失效？
• RQ3 持久的随机特征注入是否能恢复并维持动态环境中的模型可塑性？
• RQ4 CBP在长期适应方面与标准Backprop及L2正则化Backprop相比表现如何？
• RQ5 CBP能否在高度非平稳设置下有效应用于监督学习和强化学习？

主要发现

• 在非平稳问题中，即使初始化得当，Backprop也表现出显著的性能下降，表明存在‘可塑性衰减’问题。
• 在具有数千次非平稳性的半平稳问题中，Backprop的测试准确率初始学习后大幅下降，而CBP保持高性能。
• 在置换MNIST任务中，CBP优于标准Backprop和L2正则化Backprop，在连续数据漂移中保持了稳定的准确率。
• 在非平稳强化学习环境（Slippery Ant）中，CPPO（Continual-PPO）优于PPO和PPO+L2，性能衰减显著更慢。
• L2正则化在许多非平稳环境中无法维持适应能力，凸显其与CBP动态特征注入相比的局限性。
• CBP在保持与标准Backprop相同计算复杂度的前提下，实现了与基线方法相当或更优的性能。