[论文解读] Bayesian Nonparametric Weight Factorization for Continual Learning.

Nikhil Mehta, Kevin J Liang+1 more|arXiv (Cornell University)|Apr 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用 5

一句话总结

该论文提出了一种用于持续学习的贝叶斯非参数权重分解方法，利用印度餐厅过程（IBP）先验动态根据任务复杂度确定模型扩展。通过分解神经网络权重并利用IBP实现稀疏性和因子复用，该方法实现了自适应、数据驱动的模型扩展，并促进了跨任务的知识迁移，在持续学习基准测试中优于固定扩展基线模型。

ABSTRACT

Naively trained neural networks tend to experience catastrophic forgetting in sequential task settings, where data from previous tasks are unavailable. A number of methods, using various model expansion strategies, have been proposed recently as possible solutions. However, determining how much to expand the model is left to the practitioner, and typically a constant schedule is chosen for simplicity, regardless of how complex the incoming task is. Instead, we propose a principled Bayesian nonparametric approach based on the Indian Buffet Process (IBP) prior, letting the data determine how much to expand the model complexity. We pair this with a factorization of the neural network's weight matrices. Such an approach allows us to scale the number of factors of each weight matrix to the complexity of the task, while the IBP prior imposes weight factor sparsity and encourages factor reuse, promoting positive knowledge transfer between tasks. We demonstrate the effectiveness of our method on a number of continual learning benchmarks and analyze how weight factors are allocated and reused throughout the training.

研究动机与目标

• 通过根据输入任务的复杂度动态调整模型复杂度，解决持续学习中的灾难性遗忘问题。
• 通过用数据驱动机制替代固定调度，消除对模型扩展超参数的手动调优需求。
• 通过权重矩阵中的因子复用，促进任务间的正向知识迁移。
• 提供一种原则性、非参数化的方法，用于确定神经网络权重矩阵中的因子数量。
• 在标准持续学习基准上展示该方法的有效性，并分析因子分配与复用情况。

提出的方法

• 采用印度餐厅过程（IBP）先验来建模权重矩阵中的因子数量，使数据决定模型复杂度。
• 对神经网络权重矩阵应用低秩分解，将其分解为共享和任务特定的组件。
• 使用IBP先验在因子载荷矩阵中强制实现稀疏性，鼓励仅相关因子在每个任务中被激活。
• 通过允许相同因子在数据支持时跨任务复用，实现因子复用，促进知识迁移。
• 在保持IBP先验非参数性质的同时，通过随机优化端到端训练模型，实现动态扩展。
• 根据每个输入任务的复杂度自适应地调整每层的因子数量，无需预先指定。

实验结果

研究问题

• RQ1 如何使持续学习中的模型扩展适应任务复杂度，而非依赖固定调度？
• RQ2 跨任务的因子复用在多大程度上提升了知识迁移并减少了遗忘？
• RQ3 IBP先验在顺序任务学习过程中如何影响权重因子的分配与稀疏性？
• RQ4 动态因子扩展对持续学习基准整体性能有何影响？
• RQ5 与固定扩展基线相比，该方法在遗忘和准确率方面表现如何？

主要发现

• 所提方法通过动态适应模型复杂度，在多个持续学习基准上实现了最先进性能。
• IBP先验成功在因子载荷矩阵中诱导出稀疏性，实现了高效且可解释的因子使用。
• 观察到跨任务存在显著的因子复用，表明实现了有效的正向知识迁移。
• 模型根据任务复杂度自适应地调整每层的因子数量，避免了过度参数化或欠拟合。
• 在平均准确率和灾难性遗忘减少方面，该方法优于固定扩展基线。
• 分析表明，复杂任务激活更多因子，而简单任务则复用已有因子，体现了自适应行为。