[论文解读] A Theory for Knowledge Transfer in Continual Learning

Diana Benavides‐Prado, Patricia Riddle|arXiv (Cornell University)|Aug 14, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种持续监督学习中前向与后向知识迁移的理论框架，推导出误差界，表明随着学习到更多相关任务，两种迁移类型均能提升性能。其核心贡献在于提出一种通用、与实现无关的理论，证明知识迁移可降低误差，并使学习者能够持续积累知识，而无需依赖特定架构或训练方法。

ABSTRACT

Continual learning of a stream of tasks is an active area in deep neural networks. The main challenge investigated has been the phenomenon of catastrophic forgetting or interference of newly acquired knowledge with knowledge from previous tasks. Recent work has investigated forward knowledge transfer to new tasks. Backward transfer for improving knowledge gained during previous tasks has received much less attention. There is in general limited understanding of how knowledge transfer could aid tasks learned continually. We present a theory for knowledge transfer in continual supervised learning, which considers both forward and backward transfer. We aim at understanding their impact for increasingly knowledgeable learners. We derive error bounds for each of these transfer mechanisms. These bounds are agnostic to specific implementations (e.g. deep neural networks). We demonstrate that, for a continual learner that observes related tasks, both forward and backward transfer can contribute to an increasing performance as more tasks are observed.

研究动机与目标

• 为解决持续学习中后向知识迁移缺乏理论理解的问题，该问题相较于灾难性遗忘受到的关注较少。
• 构建一个通用的理论框架，独立于特定神经网络架构或训练方法，分析持续学习中的前向与后向迁移。
• 证明知识迁移（前向与后向）可随着学习到更多相关任务而提升性能。
• 表明每项任务所需的样本数量会随着任务数量的增加而减少，支持持续学习的可扩展性。
• 鼓励进一步研究知识迁移机制，以构建日益智能的持续学习系统。

提出的方法

• 该框架假设任务通过其示例生成分布的相似性而相关，从而可通过在假设空间之间施加变换函数实现迁移。
• 基于任务环境上的偏差-学习视角，推导出在前向迁移（学习某项任务时）和后向迁移（学习未来任务时）条件下，单个任务的误差界。
• 该理论依赖于三个核心假设：通过分布相似性实现任务相关性、每项任务有足够的训练样本、对实现细节（如网络架构、学习方法）保持无偏。
• 通过受多任务学习启发的方法推导出边界，其中变换函数根据任务相似性对假设族施加约束。
• 理论分析表明，前向与后向迁移均可降低泛化误差，且随着观察到的任务数量增加，性能持续提升。
• 通过一个包含四个任务的简化回归实验对框架进行实证验证，测量六种涉及源任务部分训练的迁移情景下的R²性能。

实验结果

研究问题

• RQ1 如何在不依赖特定模型架构的前提下，对持续监督学习中的前向与后向知识迁移进行理论分析？
• RQ2 在持续学习设置下，针对前向或后向迁移，能否为单个任务推导出误差界？
• RQ3 任务到达的顺序如何影响每项任务可获得的前向与后向迁移量？
• RQ4 随着学习到更多任务，知识迁移是否能减少每项任务所需的样本数？
• RQ5 后向迁移在持续学习中以何种方式可改善对先前学习任务的性能？

主要发现

• 随着在持续学习流中学习到更多相关任务，前向与后向知识迁移均有助于降低误差并提升性能。
• 在简化回归实验中，迁移情景（如部分训练f1并用于提升f2）的R²值更高（如f2: 0.8919±0.0174），高于孤立学习（f2: 0.8737±0.0127），证明了迁移的优势。
• 部分训练的源模型保留了更大的假设空间，从而实现更有效的迁移，这意味着存储部分收敛的模型对于后向/前向迁移至关重要。
• 随着任务数量的增加，每项任务所需的样本数减少，如公式13中的理论边界所示，支持可扩展性。
• 涉及无关任务的情景（如f4 = x²）表现出较差的迁移性能（R² = 0.4322±0.0933），证实迁移仅对相关任务有益。
• 该框架与实现无关，表明采用模块化或半模块化网络并配备专门用于变换函数的组件，可进一步提升迁移效果。