[论文解读] Recomposing the Reinforcement Learning Building Blocks with Hypernetworks

Shai Keynan, Elad Sarafian+1 more|arXiv (Cornell University)|Jun 12, 2021

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出使用超网络（Hypernetworks）通过将状态或上下文作为元变量，动态调整条件网络的权重，从而重新配置强化学习（RL）的构建模块——Q函数和策略网络。通过更显式地建模状态-动作交互，该方法提升了演员-评论家方法中的梯度估计精度，并降低了元强化学习中的学习步长方差，从而在各种运动控制任务中实现了更快的收敛速度和更优的性能表现，涵盖TD3、SAC、MAML和PEARL等算法。

ABSTRACT

The Reinforcement Learning (RL) building blocks, i.e. Q-functions and policy networks, usually take elements from the cartesian product of two domains as input. In particular, the input of the Q-function is both the state and the action, and in multi-task problems (Meta-RL) the policy can take a state and a context. Standard architectures tend to ignore these variables' underlying interpretations and simply concatenate their features into a single vector. In this work, we argue that this choice may lead to poor gradient estimation in actor-critic algorithms and high variance learning steps in Meta-RL algorithms. To consider the interaction between the input variables, we suggest using a Hypernetwork architecture where a primary network determines the weights of a conditional dynamic network. We show that this approach improves the gradient approximation and reduces the learning step variance, which both accelerates learning and improves the final performance. We demonstrate a consistent improvement across different locomotion tasks and different algorithms both in RL (TD3 and SAC) and in Meta-RL (MAML and PEARL).

研究动机与目标

• 为解决标准状态与动作输入拼接方式导致的演员-评论家强化学习算法中梯度估计不佳的问题。
• 通过解耦状态相关与上下文相关的梯度，降低元强化学习算法中的学习步长方差。
• 通过建模Q函数和策略网络内在的层次化结构，提升其表征能力。
• 证明超网络在标准强化学习与元强化学习基准测试中均优于标准MLP。
• 展示在使用具有理想上下文的超网络时，MAML中的适应步骤可被消除，从而提升训练效率。

提出的方法

• 采用超网络架构，其中主网络根据状态或上下文生成条件评论家或策略网络的权重。
• 将Q函数建模为上下文Bandit问题，以状态作为元变量，决定动态网络的权重，该网络将动作映射到Q值。
• 在元强化学习中，策略网络被设计为超网络结构，任务上下文调制策略的权重，从而实现上下文依赖的动作值估计。
• 通过动态权重生成显式建模状态与动作（或上下文与状态）之间的交互，避免简单的拼接操作。
• 该方法被应用于TD3、SAC、MAML和PEARL，并通过消融实验对比超网络与标准MLP及上下文增强模型的性能。
• 提出一种多任务变体的超-元MAML（Hyper-MAML），通过直接优化元策略，消除了MAML中适应步骤的需求。

实验结果

研究问题

• RQ1 超网络是否能通过更有效地建模状态-动作交互，改善演员-评论家强化学习算法中的梯度近似？
• RQ2 在MAML和PEARL等元强化学习算法中，使用超网络是否能降低学习步长的方差？
• RQ3 当使用具有理想上下文的超网络时，MAML中的适应步骤是否可以被消除？这是否能提升训练效率？
• RQ4 在多个强化学习环境中，基于超网络的Q函数与标准MLP相比，在最终性能和学习速度方面表现如何？
• RQ5 在多任务强化学习设置中，超网络在多大程度上提升了泛化能力和样本效率？

主要发现

• 在TD3和SAC中，基于超网络的评论家优于标准MLP，其中Hyper-SAC在HalfCheetah环境中达到4844±254的回报，高于标准SAC的4638±441。
• 在MAML中，使用理想上下文的Hyper-MAML在Cheetah-Fwd-Back任务中达到558±49的测试任务回报，优于Context-MAML（315±93），且无需执行适应步骤。
• 多任务Hyper-MAML优于带适应步骤的Hyper-MAML，在Cheetah-Fwd-Back任务中达到539±102的回报，且通过移除适应循环显著缩短了训练时间。
• 在PEARL中，Hyper-PEARL在Ant-Vel环境中达到1828±203的回报，超过标准PEARL的1636±210，且在所有环境中均表现出一致的性能提升。
• 该方法通过边缘化状态相关梯度，显著降低了元强化学习中的梯度方差，从而实现更稳定高效的训练。
• 该方法在多种环境（HalfCheetah、Ant、Walker）和算法（TD3、SAC、MAML、PEARL）中均持续提升性能，展现出广泛的适用性。