[论文解读] Meta Continual Learning via Dynamic Programming

Krishnan Raghavan, Prasanna Balaprakash|arXiv (Cornell University)|Aug 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 21被引用 4

一句话总结

本文提出了一种基于动态规划的理论框架，用于元持续学习（MCL），将灾难性遗忘与泛化建模为相互依赖的成本。通过应用贝尔曼最优性原理，作者推导出DPMCL——一种基于随机梯度的优化方法，交替最小化这两种成本，在基准数据集上实现了SOTA性能，且在保留能力与泛化能力之间实现了更优的平衡。

ABSTRACT

Meta continual learning algorithms seek to train a model when faced with similar tasks observed in a sequential manner. Despite promising methodological advancements, there is a lack of theoretical frameworks that enable analysis of learning challenges such as generalization and catastrophic forgetting. To that end, we develop a new theoretical approach for meta continual learning~(MCL) where we mathematically model the learning dynamics using dynamic programming, and we establish conditions of optimality for the MCL problem. Moreover, using the theoretical framework, we derive a new dynamic-programming-based MCL method that adopts stochastic-gradient-driven alternating optimization to balance generalization and catastrophic forgetting. We show that, on MCL benchmark data sets, our theoretically grounded method achieves accuracy better than or comparable to that of existing state-of-the-art methods.

研究动机与目标

• 为分析元持续学习（MCL）中的灾难性遗忘与泛化现象，填补理论框架的缺失。
• 开发一种理论基础坚实的MCL方法，无需预先掌握完整的任务分布知识。
• 通过避免固定表示，实现对变化数据分布的动态适应。
• 利用动态规划与最优控制理论，为MCL建立最优性条件。
• 在标准MCL基准上通过实证验证该方法，实现更优的泛化与保留性能。

提出的方法

• 将MCL问题建模为基于连续时间域的动态规划优化问题，利用贝尔曼最优性原理分解成本函数。
• 定义两个关键成本分量：灾难性遗忘成本（通过任务记忆在先前任务上评估）与泛化成本（在新任务上评估）。
• 使用随机梯度下降与交替优化策略，最小化多个迭代中两项成本之和。
• 通过将连续时间理论离散化，将该框架应用于离散时间MCL，实现实际应用。
• 采用经验回放缓冲区，存储并重放先前任务的样本，以计算遗忘成本。
• 推导出现有MCL方法（如MAML、OML、CML）作为所提理论框架的特例。

实验结果

研究问题

• RQ1 能否使用动态规划框架来建模并优化元持续学习中灾难性遗忘与泛化之间的权衡？
• RQ2 在顺序任务暴露的MCL设置下，何种理论条件可确保最优性？
• RQ3 如何设计一种方法，在无需事先掌握完整任务分布知识的前提下，平衡遗忘与泛化？
• RQ4 所提出的DPMCL方法在准确率与任务间稳定性方面，相较于现有SOTA方法的性能提升程度如何？
• RQ5 该理论框架能否解释或统一现有MCL方法（如MAML与OML）？

主要发现

• 在MNIST数据集上，DPMCL的累积误差（CME）为0.020 ± 0.001，优于OML（0.023 ± 0.001）与ER（0.030 ± 0.001）。
• 在CIFAR10数据集上，DPMCL的CME为0.496 ± 0.003，显著优于OML（0.676 ± 0.006）与ER（0.464 ± 0.002）。
• 在SINE数据集上，DPMCL的CME为10⁻⁵（0），与最佳性能方法持平，并优于OML（10⁻⁴）与ER（10⁻⁵）。
• 在OMNI数据集上，DPMCL的CME为0.171 ± 0.007，优于OML（0.224 ± 0.010）与ER（0.194 ± 0.008）。
• 该方法在多样化基准上表现出鲁棒性，新任务误差（NTE）始终较低，包括MNIST的0.003 ± 0.000与CIFAR10的0.231 ± 0.008。
• 理论分析证实，如MAML与OML等先前的MCL方法均为所提框架的特例，验证了其通用性与统一潜力。