[论文解读] Evolution Gym: A Large-Scale Benchmark for Evolving Soft Robots

Jagdeep Singh Bhatia, Holly Jackson+3 more|arXiv (Cornell University)|Jan 24, 2022

Advanced Materials and Mechanics被引用 16

一句话总结

本文提出了 Evolution Gym，这是首个基于体素化设计空间和物理仿真，用于协同进化软体机器人形态与控制策略的大规模基准。结果表明，结合深度强化学习与进化算法的方法可自主生成复杂且具有生物启发性的机器人设计，在多种运动与操作任务中表现优于人工设计的方案，尽管当前方法在最具有挑战性的环境中仍表现失败，凸显了对先进协同设计算法的迫切需求。

ABSTRACT

Both the design and control of a robot play equally important roles in its task performance. However, while optimal control is well studied in the machine learning and robotics community, less attention is placed on finding the optimal robot design. This is mainly because co-optimizing design and control in robotics is characterized as a challenging problem, and more importantly, a comprehensive evaluation benchmark for co-optimization does not exist. In this paper, we propose Evolution Gym, the first large-scale benchmark for co-optimizing the design and control of soft robots. In our benchmark, each robot is composed of different types of voxels (e.g., soft, rigid, actuators), resulting in a modular and expressive robot design space. Our benchmark environments span a wide range of tasks, including locomotion on various types of terrains and manipulation. Furthermore, we develop several robot co-evolution algorithms by combining state-of-the-art design optimization methods and deep reinforcement learning techniques. Evaluating the algorithms on our benchmark platform, we observe robots exhibiting increasingly complex behaviors as evolution progresses, with the best evolved designs solving many of our proposed tasks. Additionally, even though robot designs are evolved autonomously from scratch without prior knowledge, they often grow to resemble existing natural creatures while outperforming hand-designed robots. Nevertheless, all tested algorithms fail to find robots that succeed in our hardest environments. This suggests that more advanced algorithms are required to explore the high-dimensional design space and evolve increasingly intelligent robots -- an area of research in which we hope Evolution Gym will accelerate progress. Our website with code, environments, documentation, and tutorials is available at http://evogym.csail.mit.edu.

研究动机与目标

• 为软体机器人中机器人设计与控制的联合优化缺乏全面基准的问题提供解决方案。
• 实现对多样化、真实任务中协同设计算法的系统性评估与比较。
• 通过提供标准化、开源的平台，加速形态与控制联合优化的研究。
• 探究自主进化是否能够生成可媲美或超越人类设计的机器人。

提出的方法

• 将机器人本体表示为模块化、多材料体素（软材料、刚性材料、驱动器），以实现表达性强且可扩展的设计空间探索。
• 采用轻量级基于 C++ 的质点-弹簧动力学模拟器，结合基于惩罚的摩擦接触模型，实现高效的物理仿真。
• 构建与 OpenAI Gym 兼容的 Python API，确保使用便捷并可与现有强化学习框架无缝集成。
• 实施双层优化框架：设计进化（外层循环）采用进化算法（如遗传算法），控制优化（内层循环）采用深度强化学习（如 PPO）。
• 设计包含 32 项任务的多样化基准套件，涵盖不同地形上的运动与逐步增加难度的操作挑战。
• 以 MIT 许可证发布完整基准、代码与文档，确保开放获取与可复现性。

实验结果

研究问题

• RQ1 在无任何人类先验知识的前提下，机器人形态与控制策略的协同进化能否生成高效、任务特定的软体机器人？
• RQ2 在联合优化框架中，不同的设计优化方法（如遗传算法）与深度强化学习在控制方面如何相互作用？
• RQ3 进化生成的机器人在多大程度上能发展出复杂且具有生物启发性的行为，如保持平衡、蜿蜒爬行或跳跃？
• RQ4 为何当前的协同设计算法无法解决基准中最具挑战性的任务？
• RQ5 该基准能否作为可靠且可扩展的测试平台，用于比较和推进未来协同设计算法的发展？

主要发现

• 基于遗传算法的协同设计算法在较简单任务中成功进化出优于人工设计的机器人，证明了联合优化的价值。
• 在 Balancer-v0 中，进化出的机器人发展出类似手臂的结构，通过驱动配重实现类人平衡机制。
• 在 CaveCrawler-v0 中，机器人进化出类似蛇的紧凑形态，采用水平方向驱动器实现障碍物下的蜿蜒移动。
• 在 BeamToppler-v0 中，出现了两种截然不同的最优设计：一种是利用类似手部结构从下方推动横梁，另一种是利用类似钩爪的夹持器从上方推动横梁。
• 尽管取得进展，但无任何基线算法能在最具有挑战性的环境（如 PlatformJumper-v0 和 Hurdler-v0）中成功，机器人无法跨越缝隙或更宽的障碍。
• 该基准揭示，进化出的设计常与自然生物相似，表明在自主设计进化中可能涌现出生物合理性。