[论文解读] MineRL Diamond 2021 Competition: Overview, Results, and Lessons Learned

Anssi Kanervisto, Stephanie Milani+20 more|arXiv (Cornell University)|Feb 17, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

本论文介绍了 MineRL Diamond 2021 竞赛，该竞赛引入了‘入门赛道’以降低参与门槛，同时保持研究赛道对样本高效、可泛化强化学习的专注。竞赛吸引了更多参与并提升了性能，顶尖智能体在严格计算和样本限制下，通过分层学习与模仿学习，显著超越了以往结果。

ABSTRACT

Reinforcement learning competitions advance the field by providing appropriate scope and support to develop solutions toward a specific problem. To promote the development of more broadly applicable methods, organizers need to enforce the use of general techniques, the use of sample-efficient methods, and the reproducibility of the results. While beneficial for the research community, these restrictions come at a cost -- increased difficulty. If the barrier for entry is too high, many potential participants are demoralized. With this in mind, we hosted the third edition of the MineRL ObtainDiamond competition, MineRL Diamond 2021, with a separate track in which we permitted any solution to promote the participation of newcomers. With this track and more extensive tutorials and support, we saw an increased number of submissions. The participants of this easier track were able to obtain a diamond, and the participants of the harder track progressed the generalizable solutions in the same task.

研究动机与目标

• 促进在复杂、长时程环境中样本高效、可泛化的深度强化学习（DRL）与模仿学习方法的发展。
• 通过引入‘入门赛道’，不设硬编码、训练时间或算法方法的限制，降低新手参与门槛。
• 通过严格限制环境交互次数（800万步）并在评估服务器上重新训练提交结果，提升可复现性与公平性。
• 通过提供全面教程、Colab 笔记本、办公时间及 workshop，增强社区参与度。
• 通过对比 MineRL 挑战过去三年的性能表现，衡量 DRL 领域的进展，强调泛化能力与效率。

提出的方法

• 采用双赛道竞赛形式：研究赛道设严格限制（样本效率、禁止硬编码），入门赛道无限制，以鼓励更广泛参与。
• 将训练限制在 800 万次环境交互（相当于约 450 场完整对局），并在评估服务器上强制重新训练，以确保可复现性。
• 使用 MineRL 环境，观测为 64×64 像素图像与库存状态，并为制作树苗至钻石的工艺树中每个物品提供稀疏密集奖励。
• 在研究赛道中鼓励使用分层学习与模仿学习技术，以应对稀疏奖励与长时程决策的挑战。
• 通过教程、Colab 笔记本与直播办公时间，为参赛者提供社区支持，协助其训练智能体。
• 在固定随机种子与对局步数限制（18,000 步）的标准服务器上评估智能体，确保提交结果之间的公平比较。

实验结果

研究问题

• RQ1 引入无限制的‘入门赛道’对 DRL 竞赛的参与度与性能有何影响？
• RQ2 样本高效且可泛化的 DRL 智能体在多大程度上能够解决 Minecraft 中获取钻石这一长时程、稀疏奖励的任务？
• RQ3 分层学习与模仿学习技术在研究赛道中对提升样本效率与性能起到了何种作用？
• RQ4 计算资源与超参数敏感性如何影响复杂环境中 DRL 智能体的可复现性与泛化能力？
• RQ5 一种在可及性与技术严谨性之间取得平衡的竞赛形式，能否带来可衡量的智能体性能提升与社区参与度增长？

主要发现

• ‘入门赛道’的引入显著增加了提交数量与活跃参赛者数量，表明降低参与门槛能有效提升社区参与度。
• 研究赛道中表现最佳的智能体在不到 10% 的对局中成功获得钻石，远超此前最佳结果。
• 尽管采用分层学习，研究赛道的智能体在制作木镐这一关键步骤上仍面临稀疏奖励的瓶颈，凸显样本效率的挑战。
• 入门赛道的智能体通过使用预设动作与更长训练时间取得成功，表明在允许硬编码时，样本效率与性能之间存在显著权衡。
• 竞赛严格的计算与评估约束带来了更具可复现性与泛化能力的结果，支持了推动可迁移 DRL 方法的目标。
• 结果凸显了超参数调优与环境设计的重要性，即使观测或奖励设计的微小变化，也显著影响学习效果。