[论文解读] Formalizing the Generalization-Forgetting Trade-off in Continual Learning
本文通过动态规划将持续学习中的泛化-遗忘权衡形式化为两阶段序列博弈，其中一名玩家最大化泛化成本，另一名玩家最小化遗忘成本。提出了一种平衡持续学习（BCL）方法，能够在两个目标之间实现稳定的鞍点，并在Split-MNIST和Permuted-MNIST等基准数据集上表现优于或匹配当前最先进方法。
We formulate the continual learning (CL) problem via dynamic programming and model the trade-off between catastrophic forgetting and generalization as a two-player sequential game. In this approach, player 1 maximizes the cost due to lack of generalization whereas player 2 minimizes the cost due to catastrophic forgetting. We show theoretically that a balance point between the two players exists for each task and that this point is stable (once the balance is achieved, the two players stay at the balance point). Next, we introduce balanced continual learning (BCL), which is designed to attain balance between generalization and forgetting and empirically demonstrate that BCL is comparable to or better than the state of the art.
研究动机与目标
- 通过动态规划理论形式化持续学习中泛化与灾难性遗忘之间的平衡。
- 建立在任务之间泛化与遗忘之间平衡点的存在性与稳定性。
- 开发一种系统性方法——平衡持续学习（BCL），在实践中实现该平衡。
- 通过实证研究证明BCL优于或匹配现有最先进持续学习方法。
- 提供一个原理性框架，以理解持续学习中的稳定性-可塑性困境。
提出的方法
- 使用动态规划和贝尔曼最优性原理，将持续学习形式化为序列决策问题。
- 将泛化与遗忘之间的权衡建模为两玩家序列博弈：玩家1最大化泛化成本，玩家2最小化遗忘成本。
- 证明每个新任务下泛化与遗忘之间存在鞍点（定理1），并证明通过梯度上升-下降策略可渐近达到该鞍点（定理2）。
- 提出平衡持续学习（BCL），通过任务记忆缓冲区交替最大化新任务上的泛化性能，同时最小化旧任务上的遗忘。
- 通过在新任务数据上进行模型训练与评估来计算泛化成本；通过在存储的旧任务数据上进行评估来计算遗忘成本。
- 采用固定16,000个样本的缓冲区大小作为任务记忆，与经验回放基线保持一致。
实验结果
研究问题
- RQ1在动态规划形式化下，持续学习中泛化与遗忘之间是否存在稳定的平衡点？
- RQ2通过基于梯度的优化，泛化与遗忘之间的平衡点是否可渐近达到？
- RQ3是否存在一种系统性方法，可在持续学习中实现泛化与遗忘之间的最优权衡？
- RQ4所提出的BCL方法在性能与稳定性方面相较于最先进持续学习方法表现如何？
- RQ5基于鞍点优化的理论框架是否能准确反映持续学习中的实际动态？
主要发现
- 根据定理1，每个新任务下泛化与遗忘之间均存在稳定的鞍点。
- 根据定理2，当玩家采用梯度上升与下降策略时，该鞍点可被渐近达到。
- 在Split-MNIST和Permuted-MNIST基准上，平衡持续学习（BCL）的性能优于或匹配当前最先进方法。
- 基于动态规划与双人博弈的理论框架，为理解持续学习中的稳定性-可塑性权衡提供了坚实基础。
- 在增量类别、领域和任务学习场景中的实证结果表明，BCL在保持强泛化能力的同时，有效最小化了灾难性遗忘。
- 该方法在不同持续学习设置下表现出鲁棒性，包括非平稳数据分布和不相交输出空间的情形。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。