[论文解读] Structured Control Nets for Deep Reinforcement Learning

Mario Srouji, Jian Zhang+1 more|arXiv (Cornell University)|Feb 22, 2018

Reinforcement Learning in Robotics参考文献 23被引用 6

一句话总结

本文提出结构化控制网络（SCN），一种新颖的深度强化学习策略架构，将策略分解为独立的非线性与线性控制模块。通过结合全局非线性控制与局部线性稳定，SCN提升了样本效率、最终回合奖励与泛化能力，在MuJoCo、Roboschool、Atari及2D驾驶环境中，使用PPO、ES与ACKTR方法时，以更小的网络实现了具有竞争力的性能。

ABSTRACT

In recent years, Deep Reinforcement Learning has made impressive advances in solving several important benchmark problems for sequential decision making. Many control applications use a generic multilayer perceptron (MLP) for non-vision parts of the policy network. In this work, we propose a new neural network architecture for the policy network representation that is simple yet effective. The proposed Structured Control Net (SCN) splits the generic MLP into two separate sub-modules: a nonlinear control module and a linear control module. Intuitively, the nonlinear control is for forward-looking and global control, while the linear control stabilizes the local dynamics around the residual of global control. We hypothesize that this will bring together the benefits of both linear and nonlinear policies: improve training sample efficiency, final episodic reward, and generalization of learned policy, while requiring a smaller network and being generally applicable to different training methods. We validated our hypothesis with competitive results on simulations from OpenAI MuJoCo, Roboschool, Atari, and a custom 2D urban driving environment, with various ablation and generalization tests, trained with multiple black-box and policy gradient training methods. The proposed architecture has the potential to improve upon broader control tasks by incorporating problem specific priors into the architecture. As a case study, we demonstrate much improved performance for locomotion tasks by emulating the biological central pattern generators (CPGs) as the nonlinear part of the architecture.

研究动机与目标

• 提升深度强化学习在控制任务中的样本效率、最终回合奖励与泛化能力。
• 在保持或提升性能的前提下，减少网络规模，相比标准MLP策略。
• 探索将任务特定归纳偏置（如中央模式发生器，CPGs）整合进策略网络架构的方法。
• 在多种环境与训练方法（包括黑箱与策略梯度方法）中验证该架构的适用性。
• 证明结构化策略网络可通过结合线性与非线性控制的优势，超越通用MLP架构。

提出的方法

• SCN将策略网络分解为两条并行分支：非线性控制模块与线性控制模块。
• 最终动作通过两个模块输出的和计算得出：$ a = u^n + u^l $。
• 非线性模块以小型MLP（例如8个单元）实现，用于建模全局、前瞻性的控制。
• 线性模块在非线性输出的残差周围稳定局部动态，提升鲁棒性。
• 在运动控制任务中，非线性模块被替换为受CPG启发的傅里叶级数：$ u^n_t = \sum_{i=1}^{16} A_i \sin(\omega_i t + \phi_i) $。
• 该架构兼容多种训练方法，包括PPO、ES与ACKTR，无需架构修改。

实验结果

研究问题

• RQ1 将策略分解为非线性与线性组件，是否能提升深度强化学习中的样本效率与最终性能？
• RQ2 SCN架构是否能在包括MuJoCo、Roboschool、Atari与2D驾驶模拟器在内的多样化控制环境中实现泛化？
• RQ3 能否有效将任务特定的归纳偏置（如CPGs）编码进非线性模块，以提升运动控制任务的性能？
• RQ4 SCN架构是否能在显著小于标准MLP基线的网络规模下，仍保持或提升性能？
• RQ5 SCN在不同训练算法（包括策略梯度与黑箱优化方法）下的表现如何？

主要发现

• SCN-8在60款Atari游戏中实现了与更大规模MLP-512基线相当或更优的平均与最终回合奖励，同时网络规模缩小了93%。
• 在2D城市驾驶环境中，SCN在泛化能力与最终性能方面优于MLP基线，尤其在分布偏移条件下表现更优。
• 在MuJoCo与Roboschool运动控制任务中，采用CPG结构的SCN（运动网络）实现了更高的最终奖励与更快的学习速度，优于标准MLP。
• 即使仅使用4个隐藏单元，SCN-4在多数Atari游戏中也达到了或超越了MLP-8的性能，展现出极高的样本效率。
• 消融实验证实，非线性与线性模块均不可或缺，任一模块的移除均导致性能下降。
• SCN架构在无需架构调优的情况下，显著提升了在不同环境与训练方法（包括ES、PPO与ACKTR）下的泛化能力。