[论文解读] $\mathrm{SO}(2)$-Equivariant Reinforcement Learning

Dian Wang, Robin Walters+1 more|arXiv (Cornell University)|Mar 8, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

该论文提出了针对具有旋转对称性的机器人操作任务的SO(2)-等变深度强化学习算法——等变DQN与等变SAC。通过将神经网络架构设计为天然地尊重SO(2)旋转对称性，该方法在样本效率方面显著优于数据增强基线方法，学习到的策略即使在仅以单一方向训练的情况下，也能在不同物体朝向之间实现良好泛化。

ABSTRACT

Equivariant neural networks enforce symmetry within the structure of their convolutional layers, resulting in a substantial improvement in sample efficiency when learning an equivariant or invariant function. Such models are applicable to robotic manipulation learning which can often be formulated as a rotationally symmetric problem. This paper studies equivariant model architectures in the context of $Q$-learning and actor-critic reinforcement learning. We identify equivariant and invariant characteristics of the optimal $Q$-function and the optimal policy and propose equivariant DQN and SAC algorithms that leverage this structure. We present experiments that demonstrate that our equivariant versions of DQN and SAC can be significantly more sample efficient than competing algorithms on an important class of robotic manipulation problems.

研究动机与目标

• 通过利用环境中存在的旋转对称性，提升机器人强化学习中的样本效率。
• 形式化一类群不变的MDP，其中转移函数和奖励函数在SO(2)旋转下保持不变。
• 设计对SO(2)旋转天然等变的神经网络架构，确保对称性精确而非通过数据增强近似实现。
• 证明等变模型在不同物体朝向之间的泛化能力优于标准模型或经过数据增强的基线模型。
• 将等变学习扩展至连续控制（SAC）与模仿学习（LfD），展示其广泛适用性。

提出的方法

• 在Q网络和策略网络中引入SO(2)-等变卷积层，以在特征表示中强制实现旋转等变性。
• 提出一种新型等变DQN变体，通过使用SO(2)-不变的状态表示，在离散动作空间中保持等变性。
• 通过修改SAC算法，使其使用SO(2)-等变评论家和策略，从而在连续控制中保持对称性。
• 将相同的等变架构应用于从示范学习（LfD），实现从更少示范中泛化的能力。
• 使用包含SO(2)数据增强的缓冲区来增强转移样本，但表明即使基线方法使用相同增强策略，等变模型仍表现更优。
• 在基线比较中引入对比学习损失，以确保与最先进数据增强方法的公平评估。

实验结果

研究问题

• RQ1 SO(2)-等变神经网络架构能否在具有旋转对称性的机器人操作任务中提升样本效率？
• RQ2 在单一物体朝向下训练的等变模型，如何泛化到随机朝向的测试环境？
• RQ3 强制架构等变性是否优于通过近似方式实现等变性的数据增强技术？
• RQ4 等变深度强化学习能否成功扩展至连续控制（SAC）与模仿学习（LfD）？
• RQ5 当等变模型与最先进的数据增强基线方法（如RAD和DrQ）均使用SO(2)增强时，两者之间的性能差距如何？

主要发现

• 等变SACfD在所有四项机器人操作任务中均优于所有基线方法，包括使用SO(2)数据增强的RAD和DrQ，且在最具挑战性的任务中性能提升最大。
• 只有等变模型成功解决了角落抓取与房屋搭建任务，这两项任务要求在不同物体朝向之间实现泛化。
• 在泛化实验中，等变模型即使仅在单一固定朝向下训练，也能在SO(2)旋转下有效泛化，而所有基线方法均失败。
• 等变模型以显著更少的环境交互次数实现更优性能，证明其样本效率显著高于数据增强基线方法。
• 所提出的等变SAC与DQN变体在多个环境（包括积木拖拽、抽屉开启、积木堆叠与房屋搭建）中均表现出一致的性能提升。
• 结果表明，通过等变性引入的架构归纳偏置，比通过数据增强学习等变性更有效，即使两种方法使用相同的增强策略。