[论文解读] How catastrophic can catastrophic forgetting be in linear regression?

Itay Evron, Edward Moroshko+3 more|arXiv (Cornell University)|May 19, 2022

Machine Learning and Algorithms被引用 5

一句话总结

本文分析了在顺序任务学习下，过参数化线性回归中的灾难性遗忘问题，将其建模为对解子空间的迭代投影。推导出紧致的、与数据无关的遗忘上界——在循环任务排序下，最坏情况下的遗忘规模为 $T^2 \min\{1/\sqrt{k}, d/k\}$；而在随机排序下，该规模降低至 $d/k$，且与 $T$ 无关，揭示了在无缓解策略情况下的持续学习基本极限。

ABSTRACT

To better understand catastrophic forgetting, we study fitting an overparameterized linear model to a sequence of tasks with different input distributions. We analyze how much the model forgets the true labels of earlier tasks after training on subsequent tasks, obtaining exact expressions and bounds. We establish connections between continual learning in the linear setting and two other research areas: alternating projections and the Kaczmarz method. In specific settings, we highlight differences between forgetting and convergence to the offline solution as studied in those areas. In particular, when T tasks in d dimensions are presented cyclically for k iterations, we prove an upper bound of T^2 * min{1/sqrt(k), d/k} on the forgetting. This stands in contrast to the convergence to the offline solution, which can be arbitrarily slow according to existing alternating projection results. We further show that the T^2 factor can be lifted when tasks are presented in a random ordering.

研究动机与目标

• 理论刻画在顺序学习下，过参数化线性回归模型中最坏情况下的灾难性遗忘。
• 建立持续学习、交替投影与Kaczmarz方法之间的联系，推导出遗忘的新型、与数据无关的上界。
• 研究在无正则化或回放机制的情况下，任务排序方式（循环与随机）以及任务相似性（子空间之间的夹角）对遗忘的影响。
• 识别在无显式缓解技术时，遗忘最小或最大的条件。

提出的方法

• 将持续学习建模为对当前解向新任务解空间的迭代正交投影。
• 利用投影残差的精确表达式，将遗忘量化为 $\| (I - P_1)(P_2 P_1)^n \|_2^2$，重点关注与先前任务解的距离。
• 应用交替投影与Kaczmarz方法的工具，推导出遗忘的统一、与数据无关的上界与下界。
• 分析两种任务排序方案下的遗忘行为：循环排序（按固定顺序重复任务）与随机排序（任务的抑扬格排序）。
• 通过投影矩阵乘积的谱分析推导上界，并利用集中不等式处理随机排序情形。
• 考虑可实现性假设（即存在全局解），从而能够分析收敛至离线最小范数解的过程。

实验结果

研究问题

• RQ1 在无任何缓解措施的情况下，顺序学习线性回归时可能发生的最坏情况遗忘有多大？
• RQ2 在持续学习设置中，循环与随机任务排序下的遗忘行为有何差异？
• RQ3 连续任务解子空间之间的夹角在决定遗忘速率方面起什么作用？
• RQ4 我们能否推导出与数据无关的遗忘上界，即使在收敛至离线解的过程任意缓慢时，该上界仍保持非平凡？
• RQ5 在循环设置下，任务数 $T$ 与维度 $d$ 如何共同影响遗忘的上界？

主要发现

• 在 $T \geq 3$ 个任务与 $k$ 次迭代的循环任务排序设置下，遗忘被统一上界控制在 $T^2 \min\{1/\sqrt{k}, d/k\}$ 以内。
• 在相同循环设置下，遗忘的下界为 $T^2 / k$，表明最坏情况下 $T^2$ 的依赖关系是紧致的。
• 在随机任务排序下，期望遗忘被控制在 $d/k$ 以内，且与 $T$ 无关，表明最坏情况下的遗忘显著降低。
• 当任务几乎对齐（夹角较小）时，重复暴露会导致更高的遗忘；而中等夹角的任务在单次遍历后最易发生遗忘。
• 本文表明，在无任何正则化或回放机制的情况下，遗忘仍可能达到最大值，甚至本质上是灾难性的，即使在简单的线性模型中也是如此。
• 分析揭示了一个根本性的不对称性：尽管收敛至离线解的过程可能任意缓慢（如交替投影所示），但最坏情况下的遗忘仍可被紧密控制。