[论文解读] Alchemy: A structured task distribution for meta-reinforcement learning.

Jane X. Wang, Michael C. King+15 more|arXiv (Cornell University)|Feb 4, 2021

Reinforcement Learning in Robotics参考文献 23被引用 9

一句话总结

本文介绍了Alchemy，一个为元强化学习（meta-RL）设计的3D程序化视频游戏环境，作为结构化基准。该环境在每集内重新采样潜在因果结构，支持测试结构学习、在线推理、假设检验和动作序列等任务。评估结果表明元强化学习智能体存在明显失败，验证了Alchemy作为具有挑战性的基准的有效性。

ABSTRACT

There has been rapidly growing interest in meta-learning as a method for increasing the flexibility and sample efficiency of reinforcement learning. One problem in this area of research, however, has been a scarcity of adequate benchmark tasks. In general, the structure underlying past benchmarks has either been too simple to be inherently interesting, or too ill-defined to support principled analysis. In the present work, we introduce a new benchmark for meta-RL research, which combines structural richness with structural transparency. Alchemy is a 3D video game, implemented in Unity, which involves a latent causal structure that is resampled procedurally from episode to episode, affording structure learning, online inference, hypothesis testing and action sequencing based on abstract domain knowledge. We evaluate a pair of powerful RL agents on Alchemy and present an in-depth analysis of one of these agents. Results clearly indicate a frank and specific failure of meta-learning, providing validation for Alchemy as a challenging benchmark for meta-RL. Concurrent with this report, we are releasing Alchemy as public resource, together with a suite of analysis tools and sample agent trajectories.

研究动机与目标

• 解决元-强化学习缺乏结构化、透明基准的问题，以支持原则性分析。
• 开发一个具备足够结构丰富度的基准环境，以挑战元-强化学习智能体。
• 支持对元-强化学习智能体在需要结构学习、假设检验和序列推理的任务上的评估。
• 提供一个公开资源，包含工具和轨迹数据，以支持元-强化学习研究的可复现性。

提出的方法

• 在Unity中设计Alchemy，作为具有跨集重采样潜在因果结构的3D视频游戏。
• 构建环境，使智能体必须推断因果关系，并对领域进行抽象推理。
• 实现需要基于所学结构进行在线推理、假设检验和协调动作序列的任务。
• 利用该环境评估强大的元-强化学习智能体，分析其行为和失败模式。
• 公开发布Alchemy，附带分析工具和示例智能体轨迹，供社区使用。
• 对一个智能体进行深入分析，以诊断元-强化学习性能中的具体失败原因。

实验结果

研究问题

• RQ1 元-强化学习智能体能否在3D程序化环境中成功学习并适应重采样的因果结构？
• RQ2 元-强化学习智能体在Alchemy中在多大程度上表现出结构学习和在线假设检验能力？
• RQ3 当面对Alchemy这类复杂、结构化的环境时，元-强化学习智能体会暴露出哪些具体的失败模式？
• RQ4 Alchemy的结构透明性如何支持元-强化学习算法的原则性评估？

主要发现

• 所评估的元-强化学习智能体在学习和适应Alchemy中重采样的因果结构方面表现出明显且具体的问题。
• 该失败是可明确识别且可定量验证的，表明Alchemy揭示了当前元-强化学习方法的实质性局限。
• 结果验证了Alchemy作为具有挑战性的基准，能够区分鲁棒与脆弱的元-强化学习智能体。
• Alchemy的结构透明性支持对智能体行为的详细分析，揭示了其在泛化和推理方面的不足。
• 由于其明确定义的潜在因果结构，该基准成功支持了元-强化学习智能体的原则性评估。
• Alchemy的公开发布，连同工具和轨迹数据，促进了元-强化学习研究的可复现性和进一步发展。