[论文解读] MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning

Elise van der Pol, Daniel E. Worrall+3 more|UvA-DARE (University of Amsterdam)|Jun 30, 2020

Reinforcement Learning in Robotics参考文献 44被引用 47

一句话总结

引入 MDP 同态网络，在策略和价值网络中强制群结构不变性，使对称状态-动作对之间的参数共享成为可能，以加速 DRL 任务中的学习。

ABSTRACT

This paper introduces MDP homomorphic networks for deep reinforcement learning. MDP homomorphic networks are neural networks that are equivariant under symmetries in the joint state-action space of an MDP. Current approaches to deep reinforcement learning do not usually exploit knowledge about such structure. By building this prior knowledge into policy and value networks using an equivariance constraint, we can reduce the size of the solution space. We specifically focus on group-structured symmetries (invertible transformations). Additionally, we introduce an easy method for constructing equivariant network layers numerically, so the system designer need not solve the constraints by hand, as is typically done. We construct MDP homomorphic MLPs and CNNs that are equivariant under either a group of reflections or rotations. We show that such networks converge faster than unstructured baselines on CartPole, a grid world and Pong.

研究动机与目标

• 在 MDP 中激励并形式化利用对称性以减少解空间。
• 提出在状态-动作对称群下等变的神经网络。
• 提供一种实用方法，自动构建等变网络层。
• 通过利用对称性，在标准 RL 基准测试中展示更快的收敛。

提出的方法

• 在联合状态-动作空间中定义 MDP 同态与群结构对称性。
• 证明提升的策略是不变的，并等价地将问题表述为群等变网络。
• 提出一种数值程序，使用对称化器将任意权重投影到等变子空间，从而构建等变层。
• 将策略网络表示为从数据中学习的基等变权重的线性组合。
• 将该框架应用到 MLP、CNN，以及在 CartPole、grid world 与 Pong 上的等变特征提取。

实验结果

研究问题

• RQ1 如何将 MDP 的对称性形式化为具有群结构的 MDP 同态，以减少策略/价值空间？
• RQ2 是否可以在不手工推导约束的情况下自动构建对这些对称性等变的神经网络？
• RQ3 在对称的 RL 任务中，等变（MDP 同态）网络是否比非等变基线收敛更快？
• RQ4 在学习速度方面，使用等变特征提取器与完全等变架构相比有什么影响？

主要发现

• MDP 同态网络在 CartPole、网格世界和 Pong 上的收敛速度快于非结构化基线。
• 一种自动化方法（对称化器）在不手工推导约束的情况下构建等变层。
• 等变基网络在若干任务中在收敛速度上优于随机或零子空间基。
• 等变特征提取器在某些任务上可以比完全等变网络获得更快的收敛。
• 在 Pong 中，数据增强的效果不如直接将对称性嵌入到网络权重中。
• 在某些情况下，基线 CNN 相较于等变变体收敛速度较慢。