[论文解读] Assessor-Guided Learning for Continual Environments

M. Anwar Ma’sum, Mahardhika Pratama+3 more|arXiv (Cornell University)|Mar 21, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种基于元学习的持续学习框架——评估者引导学习方法（AGLA），该方法利用序列感知的评估者动态地对样本和损失函数（交叉熵、DER、知识蒸馏）进行软加权，以平衡可塑性与稳定性。AGLA在类别增量学习和任务增量学习中均实现了最先进性能，显著提升了准确率并减少了遗忘，尤其在内存受限和类别不平衡条件下，得益于其创新的补偿过采样（COS）策略。

ABSTRACT

This paper proposes an assessor-guided learning strategy for continual learning where an assessor guides the learning process of a base learner by controlling the direction and pace of the learning process thus allowing an efficient learning of new environments while protecting against the catastrophic interference problem. The assessor is trained in a meta-learning manner with a meta-objective to boost the learning process of the base learner. It performs a soft-weighting mechanism of every sample accepting positive samples while rejecting negative samples. The training objective of a base learner is to minimize a meta-weighted combination of the cross entropy loss function, the dark experience replay (DER) loss function and the knowledge distillation loss function whose interactions are controlled in such a way to attain an improved performance. A compensated over-sampling (COS) strategy is developed to overcome the class imbalanced problem of the episodic memory due to limited memory budgets. Our approach, Assessor-Guided Learning Approach (AGLA), has been evaluated in the class-incremental and task-incremental learning problems. AGLA achieves improved performances compared to its competitors while the theoretical analysis of the COS strategy is offered. Source codes of AGLA, baseline algorithms and experimental logs are shared publicly in \url{https://github.com/anwarmaxsum/AGLA} for further study.

研究动机与目标

• 解决在有限内存预算下持续学习中的灾难性遗忘和类别不平衡问题。
• 开发一种基于元学习的评估者，通过动态加权样本和损失函数来指导基础学习器。
• 通过按样本平衡可塑性与稳定性，提升持续学习的泛化能力和稳定性。
• 通过引入一种可纠正分布外样本的数据增强策略，减少对大容量记忆回放的依赖。
• 实现在低样本量和隐私受限场景下的有效持续学习，包括少样本和联邦学习场景。

提出的方法

• 通过元学习训练一个评估者网络，以预测反映正向前后向迁移潜力的样本权重。
• 基础学习器的损失是交叉熵、暗经验回放（DER）和知识蒸馏损失的元加权组合，其权重由评估者确定。
• 引入一种补偿过采样（COS）机制，通过在增强过程中纠正合成样本，以解决情景记忆中的类别不平衡问题。
• 评估者采用软加权机制，对高质量样本（低损失、正向迁移）赋予更高影响，对低质量样本（高损失、灾难性遗忘风险）赋予较低影响。
• 该方法集成序列感知能力，使评估者在评估样本效用时可考虑时间上下文信息。
• 理论复杂度分析表明，AGLA的计算成本为O(eN)，其中e为训练轮数，N为总数据量，随数据量线性增长，具有良好的可扩展性。

实验结果

研究问题

• RQ1 基于元学习的评估者能否通过动态加权样本和损失函数，有效引导持续学习，从而提升性能并减少遗忘？
• RQ2 所提出的补偿过采样（COS）策略如何在不引入分布外样本的前提下缓解情景记忆中的类别不平衡？
• RQ3 消融研究显示，各组件（评估者、COS、损失加权）对整体性能的影响如何？
• RQ4 与现有正则化方法和基于记忆的持续学习方法相比，AGLA在有限内存预算下的表现如何？
• RQ5 AGLA能否泛化到少样本和无监督持续学习场景，其中标注数据稀缺或不可用？

主要发现

• AGLA在四类持续学习基准测试中，无论在类别增量还是任务增量设置下，均实现了最先进准确率，较十种竞争方法有显著优势。
• 该方法在非基于记忆的方法中表现出最低的平均遗忘指数，仅次于基于记忆的方法，表明其具有极强的稳定性。
• 消融研究显示，若移除评估者或COS机制，性能将出现显著下降，证实二者在框架中的关键作用。
• AGLA即使在极低内存预算下仍保持优异性能，表明其高效且具备良好的可扩展性。
• AGLA的理论复杂度为O(eN)，在固定轮数下，其计算成本随数据量线性增长，因此具有良好的计算效率。