[论文解读] Finding Structure in Continual Learning

Pourya Shamsolmoali, Masoumeh Zareapoor|arXiv (Cornell University)|Feb 4, 2026

Domain Adaptation and Few-Shot Learning被引用 0

一句话总结

本文将持续学习重新框定为通过 Douglas-Rachford Splitting (DRS) 解耦可塑性和稳定性的双目标问题，在不需要回放或架构增长的情况下实现更好的稳定性-可塑性权衡。

ABSTRACT

Learning from a stream of tasks usually pits plasticity against stability: acquiring new knowledge often causes catastrophic forgetting of past information. Most methods address this by summing competing loss terms, creating gradient conflicts that are managed with complex and often inefficient strategies such as external memory replay or parameter regularization. We propose a reformulation of the continual learning objective using Douglas-Rachford Splitting (DRS). This reframes the learning process not as a direct trade-off, but as a negotiation between two decoupled objectives: one promoting plasticity for new tasks and the other enforcing stability of old knowledge. By iteratively finding a consensus through their proximal operators, DRS provides a more principled and stable learning dynamic. Our approach achieves an efficient balance between stability and plasticity without the need for auxiliary modules or complex add-ons, providing a simpler yet more powerful paradigm for continual learning systems.

研究动机与目标

• 在持续学习中激发稳定性-可塑性困境并批评优化耦合作为潜在问题的根源。
• 提出一个无回放、基于 DRS 的优化框架，将任务拟合（可塑性）与先验对齐（稳定性）解耦。
• 利用带有 Rényi 散度的贝叶斯潜在空间实现跨任务的结构化知识传递。
• 证明收敛性保证并在标准基准上显示经验优越性。
• 提供消融实验以证明潜在随机性和散度参数化等设计选择的合理性。

提出的方法

• 将持续学习目标表述为最小化 f：对当前任务的任务拟合损失，以及 g：通过后验与先验之间的 Rényi 散度来获得稳定性。
• 使用 Douglas-Rachford Splitting 分别求解 prox_f 和 prox_g，在迭代、放松的更新循环中进行。
• 更新步骤：1) prox_f（可塑性）以拟合当前任务；2) 在一个反射上进行 prox_g（稳定性）以将编码器与先验对齐；3) 以参数 lambda_r 的放松更新将可塑性与稳定性结合。
• 将潜在变量 z 参数化为高斯分布 q_phi(z|x) 和高斯先验 p(z)；在任务之间进行后验到先验传播。
• 采用 Rényi 散度 D_alpha(q||p) 其中 alpha > 1（经验上取 2.0）以获得稳定、灵活的约束；高斯情况给出封闭形式（A.4.1）。
• 证明收敛性：DRs 的不动点对应复合目标的驻点；并显示近似步骤之间的差异逐渐减小（||x_k - y_k|| -> 0）。

实验结果

研究问题

• RQ1 DRS 拆分的优化是否能够在持续学习中解耦可塑性和稳定性并收敛到驻点？
• RQ2 在无回放设置下使用 Rényi 散度是否能改善稳定性-可塑性平衡与鲁棒性？
• RQ3 带结构化潜在空间的后验到先验传播是否能提升跨任务的传递并减少长期遗忘？
• RQ4 在标准 CL 基准上，该方法在不相干任务与联合任务设置中的表现如何？
• RQ5 潜在随机性与散度参数 alpha 对性能和计算时间有何影响？

主要发现

方法	CIFAR-100 [10]	CIFAR-100 [20]	Tiny-ImageNet [20]	ImageNet [100]	Avg.	CelebA [10]	EM [10]	Avg.
Ours	71.8±0.3	79.5±0.6	51.6±0.4	59.7±0.5	65.7	87.9±0.5	88.6±0.1	88.2

• 基于 DRS 的持续学习在非重叠基准上实现了最佳平均准确率（65.7），遗忘接近最小（BWT -1.9）。
• 在联合任务设置中，该方法达到最高准确率（88.2）并具有最强的正向回传迁移（BWT +3.2）。
• 前向迁移强劲，在新任务上提升高达 +10.4。
• 消融显示潜在随机性与 Rényi 散度（alpha 约为 2.0）对性能有利；确定性潜在会降低准确率。
• 该方法无需回放，运行时间具有竞争力且在准确率上优于基线。
• 理论结果保证收敛到驻点，且可塑性-稳定性差异逐渐减小。