[论文解读] Bayesian Gradient Descent: Online Variational Bayes Learning with Increased Robustness to Catastrophic Forgetting and Weight Pruning.

Chen Zeno, Itay Golan+2 more|arXiv (Cornell University)|Mar 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 10被引用 7

一句话总结

本文提出了一种在线变分贝叶斯梯度下降方法，用于估计神经网络权重的后验分布，无需任务边界知识或微调即可增强对灾难性遗忘和权重剪枝的鲁棒性。该方法通过不确定性感知的参数更新，提升了模型的稳定性和稀疏性鲁棒性。

ABSTRACT

We suggest a novel approach for the estimation of the posterior distribution of the weights of a neural network, using an online version of the variational Bayes method. Having a confidence measure of the weights allows to combat several shortcomings of neural networks, such as their parameter redundancy, and their notorious vulnerability to the change of input distribution (catastrophic forgetting). Specifically, We show that this approach helps alleviate the catastrophic forgetting phenomenon - even without the knowledge of when the tasks are been switched. Furthermore, it improves the robustness of the network to weight pruning - even without re-training.

研究动机与目标

• 解决持续学习中灾难性遗忘的问题，且无需任务边界信息。
• 通过不确定性感知的权重估计减少神经网络中的参数冗余。
• 在不微调的情况下提高对权重剪枝的鲁棒性。
• 开发一种可动态适应新数据的在线变分贝叶斯方法。
• 为网络权重提供置信度度量，以提升模型可解释性和稳定性。

提出的方法

• 使用在线变分贝叶斯方法实时近似神经网络权重的后验分布。
• 使用小批量数据对变分后验参数应用梯度下降进行更新。
• 将不确定性估计融入权重更新，以减少过拟合并提升泛化能力。
• 通过保持权重的概率表示，实现对分布偏移的鲁棒性。
• 采用重参数化技巧，实现变分目标的可微分优化。
• 支持增量学习，无需存储历史数据或使用任务标识符。

实验结果

研究问题

• RQ1 在线变分贝叶斯学习是否能在不检测任务边界的情况下减少持续学习中的灾难性遗忘？
• RQ2 不确定性感知的权重估计如何提升对权重剪枝的鲁棒性？
• RQ3 该方法在不微调的情况下，能在多大程度上维持在分布偏移下的性能？
• RQ4 通过贝叶斯梯度下降进行后验近似是否能增强模型稀疏性和参数效率？
• RQ5 该方法是否能在仅进行最小架构修改的情况下，实现跨序列任务的稳定性能？

主要发现

• 该方法显著减少了在序列学习任务中出现的灾难性遗忘，即使在不知道任务边界发生时间的情况下也有效。
• 在学习新任务后，网络在旧任务上仍保持高准确率，表现出更强的稳定性。
• 模型对权重剪枝保持鲁棒性，在稀疏权重配置下仍能维持性能。
• 该方法通过不确定性感知学习实现了有效的参数共享并减少了冗余。
• 在剪枝后无需微调或再训练，性能仍能保持稳定。
• 仅通过在线更新，该方法在基准持续学习任务上实现了具有竞争力的准确率。