[论文解读] Continual Learning in the Teacher-Student Setup: Impact of Task Similarity

Sebastian Lee, Sebastian Goldt+1 more|arXiv (Cornell University)|Jul 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 57被引用 7

一句话总结

本文通过两层神经网络的教师-学生框架，研究持续学习中的灾难性遗忘问题，利用在线随机梯度下降（online SGD）方法，理论推导了泛化误差的动力学行为。研究发现，任务之间的中间相似性——尤其是特征权重与读出权重之间的相似性——会导致最大遗忘，表现为非单调的遗忘曲线，且特征权重与读出权重之间存在复杂的相互作用。

ABSTRACT

Continual learning-the ability to learn many tasks in sequence-is critical for artificial learning systems. Yet standard training methods for deep networks often suffer from catastrophic forgetting, where learning new tasks erases knowledge of earlier tasks. While catastrophic forgetting labels the problem, the theoretical reasons for interference between tasks remain unclear. Here, we attempt to narrow this gap between theory and practice by studying continual learning in the teacher-student setup. We extend previous analytical work on two-layer networks in the teacher-student setup to multiple teachers. Using each teacher to represent a different task, we investigate how the relationship between teachers affects the amount of forgetting and transfer exhibited by the student when the task switches. In line with recent work, we find that when tasks depend on similar features, intermediate task similarity leads to greatest forgetting. However, feature similarity is only one way in which tasks may be related. The teacher-student approach allows us to disentangle task similarity at the level of readouts (hidden-to-output weights) and features (input-to-hidden weights). We find a complex interplay between both types of similarity, initial transfer/forgetting rates, maximum transfer/forgetting, and long-term transfer/forgetting. Together, these results help illuminate the diverse factors contributing to catastrophic forgetting.

研究动机与目标

• 理解持续学习中灾难性遗忘的理论机制，特别是任务相似性的角色。
• 分离特征相似性（输入到隐藏层权重）与读出相似性（隐藏层到输出层权重）对遗忘与迁移的影响。
• 将持续学习建模为在两层网络中对两个不同教师进行顺序训练，使用解析方法预测泛化误差的动力学行为。
• 量化初始遗忘、最大遗忘及长期遗忘与迁移如何依赖于特征与读出相似性之间的相互作用。
• 通过受控的解析框架，解释反直觉的实证发现——例如中间相似性导致最严重的遗忘——的原因。

提出的方法

• 将经典教师-学生模型扩展至包含两个连续教师的持续学习设置，分别代表不同任务。
• 在无限宽度极限下，利用在线SGD推导出测试误差演化的闭式动力学方程，推广了标准监督学习中先前的工作。
• 通过重叠参数建模任务相似性：α 表示特征相似性（W† 与 W‡），Ṽ 表示读出相似性（v† 与 v‡）。
• 使用平均场近似与常微分方程（ODE）近似，分析泛化误差、遗忘（Fₜ）与迁移（Tₜ）的时间演化。
• 通过 N=10⁴ 个输入维度的数值模拟验证理论预测，比较 ODE 结果与模拟结果。
• 通过追踪任务切换后特征权重的演化，实证评估读出相似性对再学习动力学的影响。

实验结果

研究问题

• RQ1 任务相似性，尤其是中间相似性，如何影响持续学习中灾难性遗忘的幅度？
• RQ2 特征相似性（输入到隐藏层权重）与读出相似性（隐藏层到输出层权重）对遗忘与迁移的相对贡献是什么？
• RQ3 特征与读出相似性之间的相互作用是否会导致非单调的遗忘曲线？如果是，原因是什么？
• RQ4 遗忘与迁移的初始动态如何依赖于教师网络之间的重叠？
• RQ5 即使特征完全相同，读出相似性在多大程度上会偏差优化轨迹，从而影响再学习过程？

主要发现

• 中间任务相似性导致最严重的灾难性遗忘，与反直觉的实证观察一致。
• 遗忘与特征相似性 α 呈非单调关系：在中间 α 值时达到峰值，而在低或高相似性时均下降。
• 读出相似性（Ṽ）显著影响遗忘动力学：Ṽ 越低，任务切换后特征权重移动越大，导致再学习成本增加。
• 即使特征完全相同，更高的读出相似性仍能带来更好的迁移性能，因为再学习努力减少，表明 SGD 动力学存在偏差。
• 在高特征相似性下，长期遗忘曲线趋于平缓，极端重叠时遗忘最小，表明存在稳定的巩固机制。
• 理论 ODE 预测与数值模拟结果高度吻合，验证了该解析框架在不同任务切换后时间区间的有效性。