[论文解读] MEPG: A Minimalist Ensemble Policy Gradient Framework for Deep Reinforcement Learning

Qiang He, Su, Huangyuan+2 more|arXiv (Cornell University)|Sep 22, 2021

Gaussian Processes and Bayesian Inference参考文献 37被引用 6

一句话总结

MEPG 是一种极简的集成深度强化学习框架，通过使用修改后的丢弃操作符，在单个模型内的多个子网络中保持一致的贝尔曼更新，实现与最先进集成方法或无模型方法相当甚至更优的性能，且不增加计算成本或参数量。

ABSTRACT

During the training of a reinforcement learning (RL) agent, the distribution of training data is non-stationary as the agent's behavior changes over time. Therefore, there is a risk that the agent is overspecialized to a particular distribution and its performance suffers in the larger picture. Ensemble RL can mitigate this issue by learning a robust policy. However, it suffers from heavy computational resource consumption due to the newly introduced value and policy functions. In this paper, to avoid the notorious resources consumption issue, we design a novel and simple ensemble deep RL framework that integrates multiple models into a single model. Specifically, we propose the \underline{M}inimalist \underline{E}nsemble \underline{P}olicy \underline{G}radient framework (MEPG), which introduces minimalist ensemble consistent Bellman update by utilizing a modified dropout operator. MEPG holds ensemble property by keeping the dropout consistency of both sides of the Bellman equation. Additionally, the dropout operator also increases MEPG's generalization capability. Moreover, we theoretically show that the policy evaluation phase in the MEPG maintains two synchronized deep Gaussian Processes. To verify the MEPG framework's ability to generalize, we perform experiments on the gym simulator, which presents that the MEPG framework outperforms or achieves a similar level of performance as the current state-of-the-art ensemble methods and model-free methods without increasing additional computational resource costs.

研究动机与目标

• 解决传统集成深度强化学习（DRL）方法存在的高计算成本和超参数负担问题。
• 在仅使用单个神经网络的前提下，保持集成学习的泛化优势，避免资源开销。
• 开发一种通过一致的丢弃应用实现模型多样性的方法，无需引入辅助损失函数或额外网络。
• 通过在训练过程中对等式两侧应用相同的丢弃掩码，确保贝尔曼更新的稳定性和一致性。
• 实现在实际计算受限场景（如自动驾驶）中部署类似集成的DRL方法。

提出的方法

• 提出一种极简的集成一致贝尔曼更新机制，将相同的丢弃掩码应用于贝尔曼方程的左右两侧。
• 使用修改后的丢弃操作符在训练期间生成多个子网络，每个子网络代表一个独立的集成成员。
• 在策略评估阶段保持两个同步的深度高斯过程，确保价值函数近似过程的稳定性和一致性。
• 通过修改其价值和策略更新过程，将该框架应用于DDPG和SAC算法，以集成一致的丢弃机制。
• 保留基础DRL算法的原始架构和超参数，仅新增一个超参数：丢弃概率 $p$。
• 在推理阶段使用完整网络（无丢弃）聚合所有子网络的预测结果，实现无需额外计算的集成推理。

实验结果

研究问题

• RQ1 是否可以在不增加计算成本或模型复杂度的前提下，实现DRL中集成泛化的优点？
• RQ2 与标准丢弃或随机掩码相比，对贝尔曼方程两侧应用相同丢弃掩码是否能提升稳定性和性能？
• RQ3 所提出的框架对丢弃概率 $p$ 的选择有多敏感？
• RQ4 具有一致丢弃机制的单模型框架能否实现与REDQ和SUNRISE等多网络集成方法相当或更优的性能？
• RQ5 策略评估阶段深度高斯过程的理论同步是否有助于提升学习稳定性和性能？

主要发现

• MEPG在PyBullet控制套件的多个环境（包括Ant、Hopper、Walker和HCheetah）中，性能优于或匹配最先进集成与无模型DRL方法（如SAC、DDPG、REDQ、SUNRISE）。
• 该框架显著缩短了训练时间：ME-SAC在Ant环境上训练仅需约1小时14分钟，而REDQ（M）需3小时43分钟，SUNRISE需7小时24分钟。
• MEPG保持极低的参数量——在Ant环境中ME-SAC仅需0.226M参数，远低于REDQ的1.586M和ACE的1.614M，展现出强大的效率优势。
• 最优超参数 $p = 0.1$ 可获得最佳性能，且在较宽范围的 $p$ 值下结果保持稳定，表明对超参数选择具有较低敏感性。
• 理论分析证实，MEPG在策略评估阶段维持了两个同步的深度高斯过程，有助于贝尔曼方程的稳定性。
• MEPG未引入额外损失函数或计算开销，使其可部署于自动驾驶等实时、资源受限的应用场景。