[论文解读] Blocks Assemble! Learning to Assemble with Large-Scale Structured Reinforcement Learning

Seyed Kamyar Seyed Ghasemipour, Daniel Freeman+4 more|arXiv (Cornell University)|Mar 15, 2022

Modular Robots and Swarm Intelligence被引用 4

一句话总结

本文提出了一种基于物理的3D磁性积木拼装环境，用于通过大规模结构化强化学习训练智能体，以组装多种设计图。单一图结构策略智能体实现了对未见过的设计图的零样本泛化，并在无需重置的设置下有效运行，表明通过结构化表示进行多任务训练可实现稳健、可泛化的拼装，而无需显式规划或分层结构。

ABSTRACT

Assembly of multi-part physical structures is both a valuable end product for autonomous robotics, as well as a valuable diagnostic task for open-ended training of embodied intelligent agents. We introduce a naturalistic physics-based environment with a set of connectable magnet blocks inspired by children's toy kits. The objective is to assemble blocks into a succession of target blueprints. Despite the simplicity of this objective, the compositional nature of building diverse blueprints from a set of blocks leads to an explosion of complexity in structures that agents encounter. Furthermore, assembly stresses agents' multi-step planning, physical reasoning, and bimanual coordination. We find that the combination of large-scale reinforcement learning and graph-based policies -- surprisingly without any additional complexity -- is an effective recipe for training agents that not only generalize to complex unseen blueprints in a zero-shot manner, but even operate in a reset-free setting without being trained to do so. Through extensive experiments, we highlight the importance of large-scale training, structured representations, contributions of multi-task vs. single-task learning, as well as the effects of curriculums, and discuss qualitative behaviors of trained agents.

研究动机与目标

• 开发一个自然主义的、基于物理的环境，用于研究机器人拼装任务中的泛化问题。
• 探究单一智能体是否能在无需任务特定微调的情况下学习组装多样且复杂的拼装图。
• 评估结构化表示和多任务训练在实现零样本泛化和无重置运行方面的有效性。
• 理解大规模训练、课程学习和策略架构在解决组合性、多步骤拼装任务中的相对贡献。

提出的方法

• 设计一个包含16个具有6种不同形状的磁性可连接积木的3D仿真环境，支持动态、模块化的结构形成。
• 实现一种图结构策略网络，将积木表示为节点，连接关系表示为边，从而实现对物体构型的结构化、置换不变性推理。
• 使用大规模、多任务强化学习，在近200种不同复杂度的拼装图上训练单一智能体。
• 采用课程策略，在训练过程中优先处理更难的拼装图，以提高样本效率和泛化能力。
• 通过虚拟夹爪实现直接积木操作，抽象出复杂抓取过程，同时保留双臂协调和物理推理的挑战。
• 定义稀疏奖励、密集奖励和课程化奖励设计，以引导学习过程朝向成功拼装和结构正确性。

实验结果

研究问题

• RQ1 通过大规模多任务强化学习训练的单一智能体，是否能在3D积木拼装环境中对未见过的复杂拼装图实现零样本泛化？
• RQ2 与标准前馈策略相比，图结构策略架构在实现对多样化、组合性结构的泛化方面有多有效？
• RQ3 多任务训练与单任务微调相比，在实现稳健、可泛化的拼装行为方面有何贡献？
• RQ4 强调更难拼装图的课程学习是否能提高样本效率和泛化性能？
• RQ5 在基于回合、需重置的环境中训练的智能体，是否能在无需为此类训练的连续无重置设置下有效运行？

主要发现

• 图结构策略智能体在全部199个目标结构上均实现了对未见过拼装图的零样本泛化，包括最多含16个积木的结构。
• 在所有拼装图上进行多任务训练使智能体能够学习更复杂的结构，与单任务基线相比，其在大型拼装图上的性能显著提升。
• 尽管仅在基于回合的训练环境中训练，该智能体仍成功在无重置设置下运行，表明其具备涌现的鲁棒性和长时程规划能力。
• 大规模训练至关重要：在较少拼装图上训练的智能体无法泛化到复杂或未见过的结构。
• 结构化表示与多任务学习的结合优于其他方法，且无需在策略中引入分层规划或课程学习。
• 定性分析显示，智能体发现了复杂的协调操作，如顺序连接和稳定的中间构型，表明其具备物理推理和双臂协调能力。