[论文解读] A Theoretical Analysis of Catastrophic Forgetting through the NTK Overlap Matrix

Thang Doan, Mehdi Bennani+3 more|arXiv (Cornell University)|Oct 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用 16

一句话总结

本文引入了NTK重叠矩阵作为持续学习中灾难性遗忘的理论度量，用于量化任务相似性。它分析了正交投影方法（如OGD），并提出了PCA-OGD，通过将任务数据压缩到主成分来减少遗忘，实验证明其在Split MNIST和CIFAR-100数据集上实现了更高的准确率并降低了遗忘误差。

ABSTRACT

Continual learning (CL) is a setting in which an agent has to learn from an incoming stream of data during its entire lifetime. Although major advances have been made in the field, one recurring problem which remains unsolved is that of Catastrophic Forgetting (CF). While the issue has been extensively studied empirically, little attention has been paid from a theoretical angle. In this paper, we show that the impact of CF increases as two tasks increasingly align. We introduce a measure of task similarity called the NTK overlap matrix which is at the core of CF. We analyze common projected gradient algorithms and demonstrate how they mitigate forgetting. Then, we propose a variant of Orthogonal Gradient Descent (OGD) which leverages structure of the data through Principal Component Analysis (PCA). Experiments support our theoretical findings and show how our method can help reduce CF on classical CL datasets.

研究动机与目标

• 在神经正切核（NTK）框架下，为持续学习中的灾难性遗忘提供理论框架。
• 定义一种新的任务相似性度量——NTK重叠矩阵，用于量化任务间对齐程度如何加剧遗忘。
• 在NTK框架下分析正交投影方法（如OGD和GEM）的遗忘机制。
• 提出PCA-OGD，一种增强版OGD方法，利用主成分分析（PCA）压缩任务表征以减少遗忘。
• 在Split MNIST和CIFAR-100等标准持续学习基准上，对理论发现进行实证验证。

提出的方法

• 在NTK框架下推导出NTK重叠矩阵，作为源任务与目标任务梯度之间相似性的度量，捕捉任务对齐程度如何加剧遗忘。
• 通过NTK重叠矩阵，对基于投影的方法的遗忘误差进行理论表达，表明其在决定遗忘程度中的核心作用。
• 将正交梯度下降（OGD）作为基线方法进行分析，其通过将梯度投影到残差子空间来保持先前任务的性能。
• 提出PCA-OGD作为OGD的扩展，该方法对记忆缓冲区中的数据应用主成分分析（PCA），在梯度投影前仅保留最具信息量的主成分。
• 通过聚焦于数据变化的主要方向，利用数据结构来减少噪声或冗余记忆样本的影响。
• 理论分析表明，PCA-OGD的渐近计算复杂度与OGD相当，仅在小主成分数量下带来微小的额外开销。

实验结果

研究问题

• RQ1 任务相似性（通过NTK重叠矩阵度量）如何影响持续学习中灾难性遗忘的严重程度？
• RQ2 正交投影方法（如OGD）在理论上如何减少遗忘？
• RQ3 在何种场景下，PCA-OGD相较于标准OGD能更有效地减轻遗忘？
• RQ4 任务数据的结构——尤其是其主成分方向——如何影响PCA-OGD的性能？
• RQ5 增加记忆大小是否会放大PCA-OGD相较于OGD在减少遗忘方面的优势？

主要发现

• 在Split MNIST上，PCA-OGD达到99.67 ± 0.08的最终准确率，优于OGD（99.64 ± 0.09），且遗忘误差更低。
• 在CIFAR-100上，PCA-OGD实现94.14 ± 0.42的最终准确率，与相同设置下的OGD（94.41 ± 0.40）相比，表现出更低的遗忘程度。
• NTK重叠矩阵被证明是遗忘程度的关键决定因素，任务间对齐程度越高，遗忘越严重。
• 在数据均匀分布的最坏情况下，PCA-OGD的遗忘程度高于OGD，证实其对数据结构的依赖性。
• 增加记忆大小可提升PCA-OGD的性能，这通过NTK重叠矩阵的特征值分析得到验证，显示其与主成分方向的对齐性更好。
• PCA-OGD的计算复杂度与OGD保持渐近等价，因小数量主成分的PCA步骤仅带来可忽略的额外开销。