[论文解读] Data-efficient Co-Adaptation of Morphology and Behaviour with Deep Reinforcement Learning

Kevin Sebastian Luck, Heni Ben Amor+1 more|arXiv (Cornell University)|Nov 15, 2019

Reinforcement Learning in Robotics被引用 12

一句话总结

本文提出了一种数据高效的深度强化学习方法，用于通过软演员-critic（SAC）框架协同优化机器人形态与行为，利用先验经验预测新形态的性能。通过使用学习到的评论家网络估计预期奖励，而无需对每个设计进行仿真，该方法将所需原型数量减少了高达3个数量级——仅用50个设计即实现接近最优的性能，而基线仿真方法则需要24,177个设计。

ABSTRACT

Humans and animals are capable of quickly learning new behaviours to solve new tasks. Yet, we often forget that they also rely on a highly specialized morphology that co-adapted with motor control throughout thousands of years. Although compelling, the idea of co-adapting morphology and behaviours in robots is often unfeasible because of the long manufacturing times, and the need to re-design an appropriate controller for each morphology. In this paper, we propose a novel approach to automatically and efficiently co-adapt a robot morphology and its controller. Our approach is based on recent advances in deep reinforcement learning, and specifically the soft actor critic algorithm. Key to our approach is the possibility of leveraging previously tested morphologies and behaviors to estimate the performance of new candidate morphologies. As such, we can make full use of the information available for making more informed decisions, with the ultimate goal of achieving a more data-efficient co-adaptation (i.e., reducing the number of morphologies and behaviors tested). Simulated experiments show that our approach requires drastically less design prototypes to find good morphology-behaviour combinations, making this method particularly suitable for future co-adaptation of robot designs in the real world.

研究动机与目标

• 通过实现形态与行为的高效协同优化，解决机器人设计中物理原型制作成本高、耗时长的问题。
• 通过最小化对基于仿真的设计候选评估的依赖，缓解仿真到现实的差距。
• 减少发现高性能形态-行为组合所需的实际或仿真原型数量。
• 通过使设计过程可扩展且高效，实现协同优化机器人在真实世界中的部署。
• 利用先验经验预测未见形态的性能，提升设计优化中的样本效率。

提出的方法

• 使用软演员-critic（SAC）算法联合优化形态与行为策略，将形态参数作为策略网络的输入。
• 训练评论家网络以估计任意给定形态和状态的预期回报（Q值），从而实现在无需仿真的情况下预测性能。
• 基于评论家的Q值制定设计优化目标，使无需在仿真中执行即可选择有前景的形态。
• 应用主成分分析（PCA）可视化形态参数上的奖励景观，识别性能趋势。
• 使用256个初始设计的批量数据训练评论家与策略网络，随后根据评论家预测的预期性能迭代选择新设计。
• 用一个持续更新的演员-评论家系统替代基于种群的仿真试验，通过函数逼近评估候选形态。

实验结果

研究问题

• RQ1 能否通过深度强化学习框架以数据高效的方式协同优化机器人形态与行为，从而显著减少所需原型数量？
• RQ2 与传统的基于仿真的评估相比，使用学习到的评论家预测形态性能在样本效率和最终性能方面表现如何？
• RQ3 在先前测试过的形态中积累的经验，能在多大程度上被用于指导新高性能设计的发现？
• RQ4 能否有效可视化形态参数的奖励景观，以洞察设计性能趋势？
• RQ5 该方法是否通过最小化设计优化过程中对仿真的依赖，有效缩小了仿真到现实的差距？

主要发现

• 所提方法在Half-Cheetah任务中仅通过50次设计评估，即实现了与基线仿真优化（24,177次）相当或更优的性能。
• 设计优化过程中完全无需仿真，因为评论家网络可直接预测性能，显著降低了计算与时间成本。
• 奖励景观的可视化显示，较短的前腿和后腿段与更高的预期奖励相关，提供了可操作的设计洞见。
• 该方法优于随机设计采样，且在种群规模为256时，性能匹配或超越了OpenAI-ES，展现出更优的样本效率。
• 评论家网络在形态间的泛化能力，使得无需为每个候选形态重新训练或仿真，即可有效探索设计空间。
• 该方法将所需原型数量减少了约3个数量级，使形态与行为的真实世界协同优化成为可能。