[论文解读] Human-Timescale Adaptation in an Open-Ended Task Space

Adaptive Agent Team, Jakob Bauer+26 more|arXiv (Cornell University)|Jan 18, 2023

Reinforcement Learning in Robotics被引用 22

一句话总结

论文提出自适应代理（AdA），这是一个经过元强化学习训练的大规模具记忆的 RL 代理，在一个开放式的 3D 任务空间中实现了人类时间尺度的适应和零-shot/少-shot泛化，包括第一人称演示。

ABSTRACT

Foundation models have shown impressive adaptation and scalability in supervised and self-supervised learning problems, but so far these successes have not fully translated to reinforcement learning (RL). In this work, we demonstrate that training an RL agent at scale leads to a general in-context learning algorithm that can adapt to open-ended novel embodied 3D problems as quickly as humans. In a vast space of held-out environment dynamics, our adaptive agent (AdA) displays on-the-fly hypothesis-driven exploration, efficient exploitation of acquired knowledge, and can successfully be prompted with first-person demonstrations. Adaptation emerges from three ingredients: (1) meta-reinforcement learning across a vast, smooth and diverse task distribution, (2) a policy parameterised as a large-scale attention-based memory architecture, and (3) an effective automated curriculum that prioritises tasks at the frontier of an agent's capabilities. We demonstrate characteristic scaling laws with respect to network size, memory length, and richness of the training task distribution. We believe our results lay the foundation for increasingly general and adaptive RL agents that perform well across ever-larger open-ended domains.

研究动机与目标

• 研究规模化训练的强化学习代理是否能够在广阔的开放式任务空间中展示人类时间尺度的就地适应。
• 开发 AdA，一种基于记忆的元强化学习代理，能够在未见任务中从极少的测试时试验中适应。
• 探索记忆体系结构、自动课程表以及任务分布丰富性在实现快速适应中的作用。
• 展示通过演示进行零-shot 提示，并评估单代理与多代理情境中的适应。

提出的方法

• 在 XLand 2.0 的任务上训练一个基于 Transformer 的大规模代理，任务来自前沿丰富的任务池中抽样，使用元强化学习。
• 使用自动课程表（no-op 过滤和 PLR）在代理能力的前沿选择任务。
• 采用记忆架构（Transformer-XL 与带注意力的RNN）以实现跨试验的快速适应。
• 使用 Muesli RL 算法并结合教师模型的蒸馏（kickstarting）损失来扩展训练。
• 在保留测试和手工设计的探测任务上评估零-shot 与少-shot适应性，包括多代理情景。

实验结果

研究问题

• RQ1 经过大规模开放式任务分布训练的RL代理能否在测试时经验分钟内适应未见任务？
• RQ2 记忆体系结构、课程设计和任务分布对快速适应性能有什么影响？
• RQ3 代理在单代理和多代理情境中是否表现出人类时间尺度的适应？
• RQ4 通过第一人称演示的零-shot 提示是否能进一步提升适应？
• RQ5 模型规模、记忆长度等缩放因子如何影响适应性能？

主要发现

• AdA 展示了人类时间尺度的适应性，在大多数未见任务中，随着测试试验次数增加，性能提升。
• Transformer-XL 记忆带来最佳适应性能，超越基于 RNN 的记忆。
• 自动课程表（no-op 过滤和 PLR）在零-shot 泛化和少-shot 适应性方面优于均匀任务抽样。
• 通过第一人称演示的零-shot 提示还能进一步提升性能。
• 增大模型规模和记忆长度会提升适应能力，随着更多试验次数提供，收益更高。
• 在测试时适应的多代理任务中出现涌现的合作行为和分工。