[论文解读] Rethinking Continual Learning for Autonomous Agents and Robots

German I. Parisi, Christopher Kanan|arXiv (Cornell University)|Jul 2, 2019

Domain Adaptation and Few-Shot Learning参考文献 23被引用 8

一句话总结

本文通过整合发育学习、课程学习、迁移学习和内在动机，重新思考了自主智能体与机器人持续学习的方法，以克服灾难性遗忘，实现终身、可扩展的技能获取。该研究提出一种框架，使智能体通过结构化、渐进的任务调度和内在奖励，自我组织地习得日益复杂的技能，在现实世界非平稳环境中显著提升学习效率与泛化能力。

ABSTRACT

Continual learning refers to the ability of a biological or artificial system to seamlessly learn from continuous streams of information while preventing catastrophic forgetting, i.e., a condition in which new incoming information strongly interferes with previously learned representations. Since it is unrealistic to provide artificial agents with all the necessary prior knowledge to effectively operate in real-world conditions, they must exhibit a rich set of learning capabilities enabling them to interact in complex environments with the aim to process and make sense of continuous streams of (often uncertain) information. While the vast majority of continual learning models are designed to alleviate catastrophic forgetting on simplified classification tasks, here we focus on continual learning for autonomous agents and robots required to operate in much more challenging experimental settings. In particular, we discuss well-established biological learning factors such as developmental and curriculum learning, transfer learning, and intrinsic motivation and their computational counterparts for modeling the progressive acquisition of increasingly complex knowledge and skills in a continual fashion.

研究动机与目标

• 解决当前持续学习模型在真实动态环境中因灾难性遗忘和简单任务调度而难以扩展的局限性。
• 通过在机器学习系统中引入发育学习与课程学习原则，弥合人类生物学习与人工智能体之间的差距。
• 使自主智能体能够通过自生成的、内在激励的课程，逐步习得复杂技能，优先关注学习进展。
• 通过重用共享表征并最小化先前学习任务与新任务之间的干扰，有效提升任务间的迁移学习能力。
• 构建一个整合多种生物学习机制的综合框架，以支持人工智能体与机器人在复杂环境中的鲁棒、终身学习。

提出的方法

• 通过分阶段、以感官运动驱动的进程结构化智能体与环境的交互，实现发育学习，模拟神经可塑性的关键期。
• 通过按复杂度递增的顺序组织任务，利用学习进展作为奖励信号以优化任务选择，实施课程学习。
• 通过使用预测误差或学习进展作为内在奖励，整合内在动机，以驱动自主探索和自监督课程生成。
• 通过在任务间共享低层与高层表征，利用迁移学习，实现正向与反向迁移，提升新任务和先前学习任务的性能。
• 使用梯度情景记忆（GEM）来缓解灾难性遗忘，通过保留任务间的关键相关性而无需任务标识。
• 结合多感官输入与渐进式技能习得，支持人工智能体中复杂神经认知功能的涌现。

实验结果

研究问题

• RQ1 如何计算建模发育学习与课程学习原则，以实现智能体以结构化、可扩展的方式逐步习得更复杂的技能？
• RQ2 在缺乏密集外在奖励的情况下，内在动机在驱动自组织、渐进式学习中发挥何种作用？
• RQ3 如何有效利用迁移学习，在保留先前学习任务知识的同时提升新任务的性能？
• RQ4 神经可塑性的关键期在人工智能体终身学习架构设计中起到何种影响？
• RQ5 整合发育学习、课程学习与内在学习机制的统一框架，是否能在真实世界非平稳环境中超越标准持续学习方法？

主要发现

• 以学习进展为指导的课程学习，通过以有意义的渐进顺序组织任务，显著提升了神经网络系统的训练效率与性能。
• 基于预测误差或学习进展的内在动机，使智能体能够自主生成高效的学习课程，并在无密集外在奖励的情况下探索复杂环境。
• 通过共享表征及梯度情景记忆等模型实现的迁移学习，能够实现正向与反向迁移，减少灾难性遗忘并提升泛化能力。
• 模拟可塑性关键期的发育学习策略，可指导神经网络的初始架构与连接模式，从而提升后续学习性能。
• 整合多种生物学习机制——包括发育学习、课程学习、内在动机与迁移学习——可使人工智能体实现更鲁棒、可扩展且类人化的持续学习。
• 当前的持续学习基准过于简单，无法反映真实世界数据的复杂性、不确定性与时间相关性，亟需更真实的评估设置。