[论文解读] Don't forget, there is more than forgetting: new metrics for Continual Learning

Natalia Díaz-Rodríguez, Vincenzo Lomonaco+2 more|arXiv (Cornell University)|Oct 31, 2018

Domain Adaptation and Few-Shot Learning参考文献 11被引用 74

一句话总结

本文提出了一套全面、实现无关的持续学习指标集合，涵盖随时间的准确性、向后/向前传递、内存和计算，并将其组合成一个灵活的 CL_score 用于对算法进行排序。

ABSTRACT

Continual learning consists of algorithms that learn from a stream of data/tasks continuously and adaptively thought time, enabling the incremental development of ever more complex knowledge and skills. The lack of consensus in evaluating continual learning algorithms and the almost exclusive focus on forgetting motivate us to propose a more comprehensive set of implementation independent metrics accounting for several factors we believe have practical implications worth considering in the deployment of real AI systems that learn continually: accuracy or performance over time, backward and forward knowledge transfer, memory overhead as well as computational efficiency. Drawing inspiration from the standard Multi-Attribute Value Theory (MAVT) we further propose to fuse these metrics into a single score for ranking purposes and we evaluate our proposal with five continual learning strategies on the iCIFAR-100 continual learning benchmark.

研究动机与目标

• 推动对持续学习（CL）系统的评估超越遗忘的范畴。
• 定义一个全面、与实现无关的指标体系，覆盖随时间的准确性、迁移、内存和计算。
• 提出一个多标准聚合（CL_score）并评估其在对 CL 策略排序中的作用。
• 在 iCIFAR-100 基准上评估五种 CL 策略，以说明所提指标。

提出的方法

• 使用 MAVT 启发的归一化将每个标准映射到 [0,1] 刻度，以实现聚合。
• 将 Accuracy、带遗忘和记忆分量的 Backward Transfer (BWT) 与 Forward Transfer (FWT) 定义为随时间的度量。
• 引入模型大小（MS）、样本存储大小（SSS）和计算效率（CE）作为效率指标。
• 将最终的 CL_score 计算为带有用户定义权重的标准加权和，并进行归一化以便解释。
• 提供一个稳定性量度（CL_stability），基于跨运行的标准差。
• 在 iCIFAR-100 上用五种 CL 策略（Naïve、Cumulative、EWC、LwF、SI）结合一个 CNN 基线进行评估，并逐策略报告指标。

实验结果

研究问题

• RQ1 所提出的指标如何捕捉 CL 方法随时间的动态性能。
• RQ2 在完整的提出指标集合下，不同 CL 策略的比较结果如何。
• RQ3 聚合后的 CL_score 如何体现准确性、迁移、内存和计算之间的权衡？
• RQ4 不同策略在多次运行中的指标变异性（稳定性）是多少？

主要发现

• 提出了一套全面的指标集，包括 Accuracy、REM（记忆）、BWT+、FWT、MS、SSS 和 CE。
• 在 iCIFAR-100 上评估五种 CL 策略（Naïve、Cumulative、EWC、LwF、SI），结果汇总在主表中，显示每个指标。
• CL_score 使用等权重或用户指定权重聚合标准以对策略进行排序；LwF 在多个指标上通常表现良好。
• 研究表明，除了准确性/遗忘之外的指标能给策略之间带来有意义的区分，突出内存、计算和迁移之间的权衡。
• 跨运行的变异性得到展示（通过图1），强调在 CL 研究中需要多指标评估。