[论文解读] Conditional Computation for Continual Learning

Min Lin, Jie Fu+1 more|arXiv (Cornell University)|Jun 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 9被引用 6

一句话总结

该论文提出了一种条件回放方法，用于持续学习，通过选择性地重播训练过程中受到干扰的样本，从而减少灾难性遗忘，该方法基于裁剪最大池化网络，实现了部分参数共享。该方法在 MNIST-ol 上实现了近乎完美的准确率且无遗忘现象，优于小数据集上的随机回放。

ABSTRACT

Catastrophic forgetting of connectionist neural networks is caused by the global sharing of parameters among all training examples. In this study, we analyze parameter sharing under the conditional computation framework where the parameters of a neural network are conditioned on each input example. At one extreme, if each input example uses a disjoint set of parameters, there is no sharing of parameters thus no catastrophic forgetting. At the other extreme, if the parameters are the same for every example, it reduces to the conventional neural network. We then introduce a clipped version of maxout networks which lies in the middle, i.e. parameters are shared partially among examples. Based on the parameter sharing analysis, we can locate a limited set of examples that are interfered when learning a new example. We propose to perform rehearsal on this set to prevent forgetting, which is termed as conditional rehearsal. Finally, we demonstrate the effectiveness of the proposed method in an online non-stationary setup, where updates are made after each new example and the distribution of the received example shifts over time.

研究动机与目标

• 通过分析条件计算下参数共享水平，解决持续学习中的灾难性遗忘问题。
• 开发一种仅选择性重播受干扰样本的方法，提升相对于随机回放的效率。
• 引入裁剪最大池化网络，以减少学习过程中的受干扰样本数量，增强遗忘缓解效果。
• 在具有数据分布变化的在线、非平稳设置下评估该方法，其中数据按顺序到达。

提出的方法

• 使用条件计算框架，其中网络参数 Θ(x) 依赖于输入 x，实现部分参数共享。
• 通过固定分组函数 G(x) 实现多对一映射，定义共享参数组，将干扰限制在同组内的样本之间。
• 引入裁剪最大池化网络，其中输出被裁剪至 [0,1] 区间，仅激活值 ≥0.1 的输出被视为有效，从而减少受干扰样本集合。
• 将条件回放定义为仅重播那些在学习新样本时其参数受到影响的历史样本。
• 使用在线更新训练，损失函数包含标准交叉熵损失和在条件选择样本上的回放损失。
• 使用阈值（0.1）根据裁剪最大池化单元中的激活值确定哪些样本被视为受干扰。

实验结果

研究问题

• RQ1 条件计算中的参数共享如何影响干扰和灾难性遗忘？
• RQ2 基于干扰分析的有选择性回放是否比随机回放更高效地减少遗忘？
• RQ3 与标准最大池化相比，裁剪最大池化架构是否减少了受干扰样本的数量？
• RQ4 在具有数据分布变化的在线、非平稳学习设置下，条件回放的有效性如何？
• RQ5 该方法是否能在随机回放因覆盖不足而失效的复杂数据集上实现泛化？

主要发现

• 在训练过程中，每个最大池化单元的回放样本数量波动在约 100 个左右，与理论预期一致。
• 在完整的 MNIST-ol 数据集上，条件回放实现了 100% 的训练准确率且无遗忘现象，而无回放基线方法则无法学习。
• 在每个类别仅 10 个样本的小型子集上，条件回放显著优于随机回放，表明其在低数据场景下的优势。
• 在完整的 MNIST-ol 上，随机回放与条件回放表现相当，因为该数据集的模式复杂度较低；但当数据稀疏时，随机回放无法泛化。
• 裁剪最大池化架构减少了受干扰样本数量，从而实现了更高效、更精准的回放。
• 该方法在训练集和测试集上均保持了单调的准确率提升，表明实现了稳定持续学习且无遗忘。