[论文解读] Continual Learning with Guarantees via Weight Interval Constraints

Maciej Wołczyk, Karol J. Piczak+6 more|arXiv (Cornell University)|Jun 16, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出了一种名为超矩形训练（Hyperrectangle Training）的新型持续学习范式，通过将神经网络权重约束在参数空间中的超矩形内，以保证不会发生灾难性遗忘。通过使用基于 InterContiNet 算法的区间算法，该方法确保了先前任务的性能得以保留，同时实现了多项式时间优化，在无需经验回放的情况下实现了强大的遗忘控制。

ABSTRACT

We introduce a new training paradigm that enforces interval constraints on neural network parameter space to control forgetting. Contemporary Continual Learning (CL) methods focus on training neural networks efficiently from a stream of data, while reducing the negative impact of catastrophic forgetting, yet they do not provide any firm guarantees that network performance will not deteriorate uncontrollably over time. In this work, we show how to put bounds on forgetting by reformulating continual learning of a model as a continual contraction of its parameter space. To that end, we propose Hyperrectangle Training, a new training methodology where each task is represented by a hyperrectangle in the parameter space, fully contained in the hyperrectangles of the previous tasks. This formulation reduces the NP-hard CL problem back to polynomial time while providing full resilience against forgetting. We validate our claim by developing InterContiNet (Interval Continual Learning) algorithm which leverages interval arithmetic to effectively model parameter regions as hyperrectangles. Through experimental results, we show that our approach performs well in a continual learning setup without storing data from previous tasks.

研究动机与目标

• 为了解决现有持续学习方法在灾难性遗忘方面缺乏形式化保证的问题。
• 将持续学习重新表述为具有有界参数区域的约束优化问题。
• 开发一种实用的训练方法，确保在不存储历史数据的情况下，跨顺序任务保持性能稳定性。
• 通过将参数空间限制在超矩形内，使原本 NP-难的持续学习问题变得可计算。
• 提供理论与实证证据，证明区间约束可在控制遗忘的同时保持模型的可塑性。

提出的方法

• 将持续学习表述为在表示先前任务有效解的超矩形内，对模型参数空间进行顺序收缩的过程。
• 提出 InterContiNet 算法，利用区间算法在神经网络各层（包括线性层、卷积层和 ReLU 激活）中传播边界。
• 应用区间算法计算损失的可微分上界，从而实现在约束参数区域内的基于梯度的优化。
• 在每个任务中修剪参数区域，以确保新生成的超矩形完全包含于前一个超矩形之内，从而实现遗忘控制。
• 使用区间中心进行评估，而最坏情况边界则保证在区间内所有点上的性能。
• 采用约束优化目标，最小化损失的上界，从而确保在整个有效参数区域内具有鲁棒性。

实验结果

研究问题

• RQ1 我们能否在不依赖经验回放的前提下，为持续学习提供对灾难性遗忘的形式化保证？
• RQ2 通过将参数空间限制在超矩形内，是否可以将 NP-难的持续学习问题简化为多项式时间可解？
• RQ3 区间算法在深度神经网络中对顺序任务的性能边界保持方面有多有效？
• RQ4 硬性区间约束是否会导致可塑性过早崩溃或比软正则化方法遗忘更快？
• RQ5 所提出的方法是否能在高效学习新任务的同时，保持对早期任务的性能？

主要发现

• InterContiNet 即使在最严格的设置下也能成功学习新任务，表明区间约束不会引起快速可塑性崩溃。
• 在包含 20 个任务的 split-CIFAR-100 上，该方法的性能与其它参数正则化方法相当，并在长序列中保持了稳定性。
• 即使在严格的区间约束下，模型仍保有学习新任务的能力，表明在典型设置下可行参数空间并未退化。
• 理论分析证实，当使用超矩形约束时，问题可简化为多项式时间，使其在计算上变得可行。
• 实证结果表明，InterContiNet 提供了对遗忘的硬性保证，性能在整个允许权重区间内均被约束。
• 该方法在无需存储历史数据的前提下，在持续学习基准测试中表现优于或匹配当前最先进基线方法。