[论文解读] Action Branching Architectures for Deep Reinforcement Learning

Arash Tavakoli, Fabio Pardo+1 more|arXiv (Cornell University)|Nov 24, 2017

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出一种动作分支神经架构，通过在每个动作维度上分离策略或价值函数的表示，同时共享一个中心决策模块，实现了离散深度强化学习在高维动作空间中的高效扩展。该方法实现了网络输出随动作维度呈线性增长，且在包含6.5×10²⁵种组合动作空间的任务中优于DDPG。

ABSTRACT

Discrete-action algorithms have been central to numerous recent successes of deep reinforcement learning. However, applying these algorithms to high-dimensional action tasks requires tackling the combinatorial increase of the number of possible actions with the number of action dimensions. This problem is further exacerbated for continuous-action tasks that require fine control of actions via discretization. In this paper, we propose a novel neural architecture featuring a shared decision module followed by several network branches, one for each action dimension. This approach achieves a linear increase of the number of network outputs with the number of degrees of freedom by allowing a level of independence for each individual action dimension. To illustrate the approach, we present a novel agent, called Branching Dueling Q-Network (BDQ), as a branching variant of the Dueling Double Deep Q-Network (Dueling DDQN). We evaluate the performance of our agent on a set of challenging continuous control tasks. The empirical results show that the proposed agent scales gracefully to environments with increasing action dimensionality and indicate the significance of the shared decision module in coordination of the distributed action branches. Furthermore, we show that the proposed agent performs competitively against a state-of-the-art continuous control algorithm, Deep Deterministic Policy Gradient (DDPG).

研究动机与目标

• 解决离散动作深度强化学习中动作空间的组合爆炸问题，该问题限制了其在高维任务中的可扩展性。
• 通过结构化的神经架构克服探索大规模离散动作空间的不可行性——尤其是当连续动作被离散化时。
• 使样本高效、基于离策略的离散算法（如Dueling DQN）能够在高维动作空间的连续控制领域中应用。
• 研究共享决策模块在协调独立动作分支中的作用，以防止因非平稳性和协调不良导致的策略崩溃。
• 证明动作分支可使离散算法扩展至此前认为对这类方法不可行的动作空间。

提出的方法

• 提出一种神经架构，包含共享的特征编码器，后接多个独立分支，每个分支负责一个动作维度。
• 在每个分支中使用双-stream网络结构，独立估计状态值和优势，以改善价值函数逼近。
• 引入共享决策模块，生成潜在状态表示以协调动作分支，实现隐式协调。
• 为BDQ实施高斯探索策略，固定标准差（σ=0.2），以在连续环境中促进终身探索。
• 使用优先经验回放，通过退火调整β，并设置α=0.6，以提升样本效率和训练稳定性。
• 使用Adam优化器、ReLU激活函数、Xavier权重初始化，并进行梯度裁剪（L2范数≤10），每1000步更新目标网络。

实验结果

研究问题

• RQ1 通过分支网络解耦动作维度控制的神经架构，是否能在高维离散或连续动作空间中实现高效学习？
• RQ2 与各动作维度完全独立的网络相比，引入共享决策模块对性能有何影响？
• RQ3 通过动作分支，Dueling DQN等离散动作深度强化学习算法在组合性极大的动作空间中能扩展到何种程度？
• RQ4 所提出的架构是否在高维控制任务中优于最先进的连续控制算法（如DDPG）？
• RQ5 在所提出的分支框架中，探索策略（高斯 vs. ε-贪婪）对性能有何影响？

主要发现

• 分支双-streamQ网络（BDQ）成功扩展至离散化动作空间约为6.5×10²⁵组元的环境，该领域此前被认为对离散算法不可行。
• BDQ在基准测试套件中最具挑战性的连续控制任务中优于深度确定性策略梯度（DDPG）算法。
• 缺乏共享决策模块的独立双流Q网络（IDQ）在动作维度增加时性能迅速恶化，表明分支间协调不良。
• 共享决策模块对性能至关重要，IDQ的失败凸显了独立网络中非平稳性和协调缺失的风险。
• BDQ采用高斯探索（σ=0.2）时性能优于ε-贪婪策略，表明在物理控制领域中连续探索更有效。
• 该架构实现了网络输出随动作维度呈线性增长，避免了标准离散动作方法中出现的组合爆炸。