[论文解读] Augmenting learning using symmetry in a biologically-inspired domain

Shruti Mishra, Abbas Abdolmaleki+3 more|arXiv (Cornell University)|Oct 1, 2019

Reinforcement Learning in Robotics参考文献 10被引用 6

一句话总结

本文通过利用镜像状态-动作对中的空间对称性，在四足行走运动环境中增强强化学习，显著提升了样本效率。通过在训练过程中镜像轨迹，智能体在数据受限的场景下学习速度更快，仅通过极少的网络结构改动即实现了更优性能。

ABSTRACT

Invariances to translation, rotation and other spatial transformations are a hallmark of the laws of motion, and have widespread use in the natural sciences to reduce the dimensionality of systems of equations. In supervised learning, such as in image classification tasks, rotation, translation and scale invariances are used to augment training datasets. In this work, we use data augmentation in a similar way, exploiting symmetry in the quadruped domain of the DeepMind control suite (Tassa et al. 2018) to add to the trajectories experienced by the actor in the actor-critic algorithm of Abdolmaleki et al. (2018). In a data-limited regime, the agent using a set of experiences augmented through symmetry is able to learn faster. Our approach can be used to inject knowledge of invariances in the domain and task to augment learning in robots, and more generally, to speed up learning in realistic robotics applications.

研究动机与目标

• 通过利用类动物身体固有的空间对称性，提升机器人行走强化学习中的样本效率。
• 探究基于对称性的数据增强是否能加速连续控制任务中经验有限场景下的学习。
• 探索来自物理对称性的归纳偏置如何塑造更自然且高效的行走策略。
• 评估在不修改环境动力学的前提下，镜像轨迹对演员-critic框架中策略优化的影响。

提出的方法

• 在四足领域中，通过对矢状面应用反射对称性，生成状态-动作对的镜像版本。
• 通过在训练过程中将镜像轨迹引入回放缓冲区，扩展了MPO算法（Abdolmaleki et al., 2018）。
• 通过施加对称策略约束，确保$ Q(s_{\text{mirrored}}, a_{\text{mirrored}}) = Q(s, a) $，以强制实现不变性。
• 在保持KL散度约束以稳定学习的前提下，同时使用原始状态和动作以及镜像状态和动作进行策略改进。
• 采用目标网络，以250步的更新频率稳定时序差分学习过程中的Q函数训练。
• 在不改变底层马尔可夫决策过程或环境动力学的前提下，将镜像经验引入策略优化循环。

实验结果

研究问题

• RQ1 基于对称性的数据增强是否能提升四足行走连续控制任务中的样本效率？
• RQ2 在演员-critic强化学习智能体中，引入镜像轨迹如何影响收敛速度和最终性能？
• RQ3 在策略空间中强制对称性是否能导致更自然、更具典型特征的行走步态？
• RQ4 能否将对称性知识作为归纳偏置，在不修改网络结构的前提下缩小有效策略搜索空间？
• RQ5 在数据受限的训练场景中，对称性增强对学习稳定性和泛化能力有何影响？

主要发现

• 与标准训练相比，采用镜像轨迹增强训练的智能体更早获得更高的累积奖励，表明学习速度更快。
• 该性能提升在多个随机种子以及步行和跑步任务中均保持一致，表明对初始化和任务变化具有鲁棒性。
• 该方法在不改变超参数的情况下提升了学习速度，表明对称性是一种有效的归纳偏置。
• 使用镜像数据可实现更稳定且高效的策略学习，尤其在低数据场景下表现更优。
• 对称策略约束有助于智能体学习到更自然的步态，与生物运动模式一致。
• 该方法与现有演员-critic算法（如MPO）兼容，且无需修改环境或奖励函数即可应用。