[论文解读] Lifelong Learning Metrics

Alexander New, Megan Baker+2 more|arXiv (Cornell University)|Jan 20, 2022

Age of Information Optimization被引用 8

一句话总结

本文提出了一套标准化、与应用无关的指标框架，用于在多样化任务和环境中评估终身学习（LL）智能体。该框架引入了核心指标，如性能保持（PM）、正向/反向迁移（FT/BT）、相对性能（RP）和样本效率（SE），实现了LL智能体与单任务专家之间的可比性评估，并量化了迁移效果、记忆保持以及随时间推移的学习效率。

ABSTRACT

The DARPA Lifelong Learning Machines (L2M) program seeks to yield advances in artificial intelligence (AI) systems so that they are capable of learning (and improving) continuously, leveraging data on one task to improve performance on another, and doing so in a computationally sustainable way. Performers on this program developed systems capable of performing a diverse range of functions, including autonomous driving, real-time strategy, and drone simulation. These systems featured a diverse range of characteristics (e.g., task structure, lifetime duration), and an immediate challenge faced by the program's testing and evaluation team was measuring system performance across these different settings. This document, developed in close collaboration with DARPA and the program performers, outlines a formalism for constructing and characterizing the performance of agents performing lifelong learning scenarios.

研究动机与目标

• 解决在多样化任务和环境中缺乏一致、标准化指标来评估终身学习（LL）智能体的问题。
• 形式化一个通用的性能度量框架，该框架与智能体架构、领域或环境无关。
• 量化终身学习场景中的正向迁移（如正向迁移）和负向影响（如灾难性遗忘）。
• 通过相对性能（RP）和样本效率（SE）等指标，实现LL智能体与单任务专家之间的公平比较。
• 通过提供统一的度量标准，支持在自动驾驶、机器人和策略游戏等现实应用场景中的评估。

提出的方法

• 定义一个涉及多个任务中学习块（LXs）序列的终身学习场景，持续跟踪性能随时间的变化。
• 引入核心指标：性能保持（PM）用于评估记忆保持，正向迁移（FT）和反向迁移（BT）用于量化任务间的迁移效应。
• 将相对性能（RP）计算为终身智能体与单任务专家在等效经验下的累积特定应用指标（如总奖励）的比值。
• 将样本效率（SE）定义为饱和值比率与经验到饱和比率的乘积，用于衡量智能体相较于单任务专家在学习速度和学习效果上的表现。
• 使用对比比率（如 (B₂ - B₁)/(B₂ + B₁)）量化学习块之间的性能变化，从而对性能提升和下降均保持敏感。
• 要求记录终身智能体和单任务专家（STE）的性能曲线，以计算RP和SE，确保不同系统之间的可比性。

实验结果

研究问题

• RQ1 如何在多样化智能体、任务和环境中一致地衡量终身学习性能？
• RQ2 在学习新任务的同时，终身智能体在先前学习任务上的性能保持程度如何？
• RQ3 在相同训练经验下，终身智能体的性能与单任务专家相比如何？
• RQ4 哪些指标最能捕捉终身学习场景中的正向和反向迁移？
• RQ5 在学习速度和最终性能方面，终身智能体相较于单任务专家的学习效率如何？

主要发现

• 所提出的指标——PM、FT、BT、RP 和 SE——实现了在多样化领域和架构中对终身学习智能体的一致、标准化评估。
• 相对性能（RP）值大于1表明，在相同经验下，终身智能体的表现优于单任务专家，证明了有效的终身学习。
• 样本效率（SE）值高于1表明，终身智能体在达到更高饱和性能或更快速达到饱和点方面优于单任务专家。
• 性能恢复（PR）和累积增益（CG）为智能体的鲁棒性和长期性能提升提供了补充洞察，尤其在性能下降的情境下表现突出。
• 该框架适用于多种环境，如 StarCraft、CARLA、AirSim，以及合成基准如 SplitMNIST 和 Core50。
• 这些指标设计为与智能体架构（如渐进式网络、弹性权重整合）无关，具备广泛适用性。