[论文解读] Exploring Example Influence in Continual Learning

Qing Sun, Fan Lyu+3 more|arXiv (Cornell University)|Sep 25, 2022

Domain Adaptation and Few-Shot Learning被引用 15

一句话总结

该论文提出 MetaSP，一种元学习算法，通过在不求逆 Hessian 矩阵的情况下模拟影响函数，计算持续学习中示例对稳定性（S）和可塑性（P）的影响。该方法通过双目标优化融合 S-和 P-感知的影响，实现 SP 帕累托最优，从而改进模型更新与回放选择，在任务增量和类别增量基准上优于当前最先进方法。

ABSTRACT

Continual Learning (CL) sequentially learns new tasks like human beings, with the goal to achieve better Stability (S, remembering past tasks) and Plasticity (P, adapting to new tasks). Due to the fact that past training data is not available, it is valuable to explore the influence difference on S and P among training examples, which may improve the learning pattern towards better SP. Inspired by Influence Function (IF), we first study example influence via adding perturbation to example weight and computing the influence derivation. To avoid the storage and calculation burden of Hessian inverse in neural networks, we propose a simple yet effective MetaSP algorithm to simulate the two key steps in the computation of IF and obtain the S- and P-aware example influence. Moreover, we propose to fuse two kinds of example influence by solving a dual-objective optimization problem, and obtain a fused influence towards SP Pareto optimality. The fused influence can be used to control the update of model and optimize the storage of rehearsal. Empirical results show that our algorithm significantly outperforms state-of-the-art methods on both task- and class-incremental benchmark CL datasets.

研究动机与目标

• 研究在持续学习中，单个训练示例如何对稳定性（S）和可塑性（P）产生不同的影响。
• 通过避免在神经网络中求逆 Hessian 矩阵，缓解传统影响函数带来的计算负担。
• 开发一种方法，融合 S-和 P-感知的示例影响力，以实现 SP 帕累托最优，从而提升持续学习性能。
• 将融合后的影响力应用于控制模型更新，并优化回放记忆选择。

提出的方法

• MetaSP 使用带有示例级扰动的伪更新来估计影响力，无需计算 Hessian 逆矩阵。
• 通过从已见数据中采样两个验证集，计算扰动上的梯度，以推导出 S-和 P-感知的影响得分。
• 该方法将双目标优化（DOO）问题形式化，以平衡 S 与 P 的影响力，利用 MGDA 算法实现 SP 帕累托最优解。
• 融合后的影响力被用于加权每个示例的损失更新，实现基于影响力的模型训练。
• 融合后的影响力还用于在固定记忆预算下指导回放选择，优先选择 SP 影响为正且较高的示例。
• 该方法被应用于基于回放的持续学习框架中，通过仅在最终训练阶段使用 MetaSP 提升效率。

实验结果

研究问题

• RQ1 在持续学习中，单个训练示例如何对稳定性与可塑性产生不同的贡献？
• RQ2 我们能否在不求逆深度网络中 Hessian 矩阵的情况下，高效估计示例对 S 和 P 的影响力？
• RQ3 如何最优地权衡 S 与 P 的影响力，以实现平衡的、帕累托最优的学习模式？
• RQ4 融合后的示例影响力能否提升持续学习中的模型更新与回放记忆选择？

主要发现

• MetaSP 在任务增量与类别增量持续学习基准上显著优于当前最先进方法，实现了更高的稳定性与更稳定的可塑性。
• 该方法仅使用 5 个 epoch 的 MetaSP 即可实现性能提升，显著缩短训练时间，同时保持高准确率。
• 实证结果表明，大多数旧任务示例对稳定性有正向影响，但对可塑性有负向影响，而新任务示例则呈现相反趋势。
• 回放记忆中的大多数示例对 SP 具有正向总影响力，表明基于影响力的筛选能有效保留知识。
• 通过 DOO 融合的影响力相比单独使用 S-或 P-感知影响力，实现了更平衡的 SP 权衡，更接近 SP 帕累托前沿。
• 该方法表明，示例影响力可用于同时指导模型更新与回放选择，从而整体提升持续学习性能。