[论文解读] Mean Actor Critic

Cameron Allen, Kavosh Asadi+4 more|arXiv (Cornell University)|Sep 1, 2017

Reinforcement Learning in Robotics参考文献 24被引用 16

一句话总结

均值演员-评论家（MAC）是一种用于离散动作连续状态强化学习的策略梯度算法，通过使用所有动作值的显式表示（而不仅仅是执行的动作）来降低梯度方差。实验结果表明，MAC在控制任务和Atari游戏上达到了与最先进方法相当的性能。

ABSTRACT

We propose a new algorithm, Mean Actor-Critic (MAC), for discrete-action continuous-state reinforcement learning. MAC is a policy gradient algorithm that uses the agent's explicit representation of all action values to estimate the gradient of the policy, rather than using only the actions that were actually executed. We prove that this approach reduces variance in the policy gradient estimate relative to traditional actor-critic methods. We show empirical results on two control domains and on six Atari games, where MAC is competitive with state-of-the-art policy search algorithms.

研究动机与目标

• 解决传统演员-评论家方法中常见的策略梯度估计高方差问题。
• 提升离散动作连续状态强化学习环境中的样本效率。
• 开发一种利用完整动作值表示来指导策略更新的方法，而非仅依赖于执行的动作。
• 在具有挑战性的控制和Atari基准测试中，实现与最先进策略搜索算法相当的性能。

提出的方法

• 提出一种新型的策略梯度估计器，该估计器整合了所有动作值的显式表示，而不仅仅是所采取的动作。
• 使用评论家网络来维护并更新动作空间中所有动作的Q值估计。
• 通过计算所有动作的动作值预测的均值来计算策略梯度，相比标准演员-评论家方法方差更低。
• 使用此低方差梯度估计来训练策略网络，以提升学习稳定性和样本效率。
• 将均值动作值估计集成到策略更新规则中，实现更准确和稳定的策略优化。
• 维护独立的策略网络和价值估计网络，其中价值网络为梯度计算提供完整的动作值监督。

实验结果

研究问题

• RQ1 在策略梯度估计中使用所有动作值是否相比标准演员-评论家方法能降低方差？
• RQ2 所提出的方法是否能提升离散动作连续状态环境中的样本效率和学习稳定性？
• RQ3 在控制和Atari基准测试中，MAC与最先进策略搜索算法相比，最终性能如何？
• RQ4 均值动作值表示是否能在复杂控制任务中实现更快的收敛速度和更好的泛化能力？

主要发现

• MAC通过显式建模所有动作值来降低梯度方差，从而实现更稳定的策略更新。
• 该方法在两个连续状态控制领域中实现了具有竞争力的性能，与基线算法相当或更优。
• 在六个Atari游戏中中，MAC的表现与最先进策略搜索算法相当。
• 使用完整的动作值表示提升了复杂环境中的学习稳定性和样本效率。