[论文解读] Jelly Bean World: A Testbed for Never-Ending Learning

Emmanouil Antonios Platanios, Abulhair Saparov+1 more|ArXiv.org|Feb 15, 2020

Reinforcement Learning in Robotics参考文献 14被引用 7

一句话总结

本文提出了 Jelly Bean World (JBW)，一个高度可配置、可控制且性能优越的强化学习持续学习测试平台。它支持复杂、非平稳环境中的多任务、多模态及课程学习设置，表明在动态环境中，通用智能对于实现高性能至关重要——而标准强化学习智能体因灾难性遗忘和适应能力差而失败。

ABSTRACT

Machine learning has shown growing success in recent years. However, current machine learning systems are highly specialized, trained for particular problems or domains, and typically on a single narrow dataset. Human learning, on the other hand, is highly general and adaptable. Never-ending learning is a machine learning paradigm that aims to bridge this gap, with the goal of encouraging researchers to design machine learning systems that can learn to perform a wider variety of inter-related tasks in more complex environments. To date, there is no environment or testbed to facilitate the development and evaluation of never-ending learning systems. To this end, we propose the Jelly Bean World testbed. The Jelly Bean World allows experimentation over two-dimensional grid worlds which are filled with items and in which agents can navigate. This testbed provides environments that are sufficiently complex and where more generally intelligent algorithms ought to perform better than current state-of-the-art reinforcement learning approaches. It does so by producing non-stationary environments and facilitating experimentation with multi-task, multi-agent, multi-modal, and curriculum learning settings. We hope that this new freely-available software will prompt new research and interest in the development and evaluation of never-ending learning systems and more broadly, general intelligence systems.

研究动机与目标

• 解决强化学习中持续学习系统评估缺乏标准化、可控制环境的问题。
• 设计一个支持复杂、动态且相互关联学习任务的测试平台，以挑战泛化能力和持续适应能力。
• 支持多智能体、多模态感知（视觉与嗅觉）、课程学习以及非平稳奖励函数的实验。
• 提供一个可复现、高性能的框架，用于评估强化学习智能体在超越狭窄任务专精之外的通用智能。
• 通过提供可扩展、可扩展的环境，促进对终身学习、累积学习和自我改进学习系统的科研探索。

提出的方法

• 定义一个包含多种物品类型（如软糖豆、洋葱、墙壁）的二维网格世界环境，以及智能体的导航机制。
• 通过随时间变化的奖励函数、物品生成速率和环境变化实现非平稳动力学。
• 支持多种感知模态：视觉（带视场角限制）和嗅觉（方向性、非视觉、非交互式）。
• 通过随时间演化的分阶段奖励函数引入课程学习（例如，先避开洋葱，再收集软糖豆）。
• 基于柯尔莫哥洛夫复杂度的正式复杂度度量来定义环境难度，以区分专用学习与通用学习。
• 提供保存、加载、分发及可视化环境和智能体性能的工具，支持跨实验分析。

实验结果

研究问题

• RQ1 强化学习智能体是否能在奖励函数随时间变化的非平稳、多任务环境中成功学习？
• RQ2 在复杂且存在遮挡的环境中，多模态感知（视觉与嗅觉）如何影响学习性能和鲁棒性？
• RQ3 课程学习在动态、相互关联的任务中在多大程度上提升了学习效率和最终性能？
• RQ4 与非课程训练相比，经课程训练的智能体在泛化到新型未见任务配置方面表现是否更优？
• RQ5 环境复杂度（以柯尔莫哥洛夫复杂度衡量）与对通用学习能力的需求之间是否存在相关性？

主要发现

• 经课程学习训练的智能体获得的奖励速率显著更高（最高达 0.025 pts/s），而无课程基线智能体的奖励速率仅在 0.005 pts/s 左右趋于平稳。
• 仅依赖视觉的智能体在遮挡环境中表现不佳，奖励速率为 0.015 pts/s；而基于嗅觉的智能体在某些配置中表现更优。
• 在非遮挡环境中，视觉与嗅觉结合的智能体达到 0.03 pts/s 的奖励速率，表明多模态感知具有互补优势。
• 在奖励函数随时间变化的非平稳环境中，采用课程调度的智能体适应能力更强，避免了性能停滞。
• 该测试平台成功在任务优先级改变时引发标准强化学习智能体的灾难性遗忘，凸显了通用学习机制的必要性。
• 贪婪视觉智能体在简单环境中表现良好，但在遮挡或避让类任务中完全失败，凸显了窄感知与反应式策略的局限性。